告警配置

信息科技中心拥有大量的IT基础设施和应用系统，针对这些基础设施、及业务应用也建立了很多监控系统，如APM、NPM、BPM、eBPF、及基础设施监控、服务器监控、网络监控、存储监控、应用监控、数据库中间件监控、机房监控、大机监控等。为达到统一运维的效果，需要一个统一事件平台将各个监控工具的告警进行收集，并集中处理。通过告警配置，实现智能压缩、降噪，级别重定义、屏蔽、等功能，大大提升告警准确性与事件处理效率。

告警配置包括“事件接入、丰富、压缩、恢复、分组、升降级、屏蔽、通知、维护期策略，及通知服务，等事件处置策略的配置。处置策略包括两个部分：命中条件和结果执行。

命中条件一是用来判断接收到的事件是否执行某个策略，二是如果执行，通过条件可以找到待执行的事件。命中条件是由一个或多个最小条件的集合。一个最小条件至少有一个事件字段、可能有一个运算符、可能有一个配置值组成，命中条件中每个最小条件之间默认是与关系。

结果执行与告警事件的处置类型有关，不尽相同，有些处置类型可能没有结果执行。

告警配置的通用操作规则如下：

点击“”按钮弹出压缩策略添加窗口，添加窗口包括基本信息、规则两个标签页，基本信息标签页是策略的基本描述信息，规则标签页配置策略的匹配条件和结果执行。

策略基本信息字段说明：

生效规则有单次、重复两个选择，单次是指在生效时段内执行。选择重复选项，生效时段隐藏，显示重复配置配置字段。

生效规则为重复时，重复时间可以按日、周、月、年方式设置。

点击“”切换到规则标签页

策略规则字段说明：

在压缩策略添加窗口中按字段说明要求填写之后点击“”提交压缩策略添加，点击“”按钮取消添加并关闭添加窗口。

压缩策略中的条件字段只需要选择字段，还有一类策略需要选择字段、运算符、值，这一类策略弹窗中条件字段可以展开、折叠的。

条件字段折叠，折叠是默认状态。

点击“”条件字段展开，条件字段展示之后，“”切换为“”。

事件接入

事件接入是指将不同的监控工具产生的事件接入至统一事件平台。

不同的监控工具产生的事件源内容格式、级别千差万别，本系统提供了事件信息描述标准化，包括统一字段、统一级别。为了达成这一目标，从事件源到事件汇聚需要一个适配操作，事件接入功能就是是实现这一适配的过程。

事件接入有三个主要功能，一是实现事件源内容字段与统一事件平台字段的映射；二是实现事件源告警级别与统一事件平台告警级别字段的映射；三是未经配置的事件会被过滤掉不能进入统一事件平台。

事件接入配置之后，还需要完成对应事件Probe程序的部署才能完成事件接入。

事件接入配置管理实现了事件接入查询、事件接入添加、事件接入修改、事件接入删除、事件接入查看等操作。

一个新的事件源（监控工具）需要添加时，需要对这个新的事件源做事件接入配置，具体操作为点击点击“”按钮弹出事件接入添加窗口。事件接入有三个部分：接入信息、字段映射、级别映射。

第一步是接入信息，包括了接入名称、事件源类型、接入Key、启用、备注等基本信息，接入信息随接入类型不同而有所不同。SYSLOG类型比其他的多了Syslog类型、来源标识、非标Syslog分隔符，详细描述参考接入信息字段说明

接入信息-ZABBIX、EMAIL、RESTAPI、CUSTOM，如下图

接入信息-Syslog，如下图

接入信息字段说明：

ZABBIX、 RESTAPI、CUSTOM的事件源需要将接入Key配置在消息中，举例：在Zabbix端的配置方式参考下图：

第二步是对事件的字段映射，字段映射页面包括平台字段、映射方式、事件源字段。

字段映射的字段说明：

来源类型格式说明：

整型：整型数字，1，2，3，4

非整型：非整型数字，带小数点的数字，1.2，1.3

毫秒时间戳：1692000807000，13位的数字的时间

UNIX时间戳：1692000807，10位数字的时间

日期：事件源中允许25、21、19位日期，格式分别为yyyy-MM-dd’T’HH:mm:ss.SSS、yyyy-MM-dd’T’HH:mm:ss、yyyy-MM-dd HH:mm:ss，举例为：2023-08-14’T’16:30:01:123、2023-08-14’T’16:30:01:12、2023-08-14 16:30:01。

第三步是事件级别映射，级别可以来自于事件源某个字段的取值或者指定一个事件级别。

级别映射字段说明

级别映射举例：

该级别映射字段是Severity，与平台事件级别4映射的事件源级别是4、5，运算符为IN；与平台事件级别5映射的事件源级别是6，运算符为=；平台事件级别0、1、2、3分别映射事件源级别0、1、2、3。

丰富策略

有些事件本身的信息量较少，事件丰富功能可以有效解决事件信息量不足的问题，为后续事件处置策略提供了更多的数据选择。包括CMDB中的信息如业务名称、机房、机柜、负责人、电话等，也可以添加本系统中内置的“数据表”字段，为事件丰富提供更多的数据资源，增加告警的可读性。

事件丰富是指通过事件字段中指定的字段与其他的数据表中的字段进行关联，然后取出其他数据表中指定的字段，追加或填充到指定的事件字段上。

丰富策略命中条件构成中包括字段、运算符、配置值；丰富策略结果执行是填充字段到目标字段，对目标字段的操作是“覆盖”或者“追加”，具体可以根据实际情况进行设置。丰富策略命中条件每个最小条件之间是“与”关系。目前本系统中可以作为事件丰富命中条件的字段为设备标识、显示名称、关联业务、数据中心、业务级别。可以作为事件丰富目标字段为设备标识、显示名称、关联业务、数据中心、业务级别。

目前配置的丰富数据来源有设备类别管理、设备管理、设备属性表等，设备类别提供的数据来源包括设备类别显示名称、短名称等，设备管理提供的数据来源包括设备名称、显示名称、IP地址、关联设备等，设备属性提供的数据来源包括堡垒机管理业务IP、业务名称、负责人、应用名称、电话、等保级别、数据中心、机房、机柜、U位、序列号、业务类型、所属公司等。这数据表提供的数据可以在系统管理->配置参数管理中添加或修改。

其中设备属性表，其数据来源于CMDB，通过调度平台执行T+1定时同步过来。

丰富策略配置管理实现了丰富策略查询、丰富策略添加、丰富策略修改、丰富策略删除、丰富策略查看等操作。

规则字段说明

丰富策略规则举例说明：

当前丰富策略表示将事件的设备标识字段关联设备属性表的堡垒机管理业务IP字段，然后将设备属性表的业务名称取出覆盖事件的关联业务字段上。

压缩策略

压缩策略主要由两部分组成：命中条件、结果执行。命中条件一是用来判断到来的事件是否执行压缩，二是如果执行压缩，通过命中条件可以找到待压缩的事件。压缩策略命中条件构成中只有字段、没有运算符和配置值；压缩策略的结果执行是对到来事件的最后发生时间更新、发生次数累计、描述更新。压缩策略每个最小条件之间是“与”关系（逻辑与：a且b 全真则真，有假则假）。

系统内置了基本压缩规则，用来抑制重复告警，默认对同一批到来的告警会在内存中先压缩一次，系统内置的压缩策略条件字段为设备标识、指标、事件级别类型、描述，结果字段为最后发生时间更新、发生次数累计。长周期压缩是除了在内存中压缩以外，还要在数据库中查找告警再一次进行压缩。所以与内置压缩策略一致的策略是不需要配置的。

规则字段说明

压缩策略规则举例说明，以SNMPTrap Syslog为例：

策略条件字段为设备标识、指标租、指标、描述，意味着设备标识、指标组、指标、描述4个字段都一致的事件才会被压缩在一起，压缩结果执行是最后发生时间更新、发生次数累计、内容使用最新一条的事件描述。

压缩策略其他操作参考告警配置说明。

恢复策略

当监控工具（如Zabbix）或设备自身检测到故障后会发出告警事件，故障发生时发出的事件叫告警事件，在故障消除之后，监控工具会产生一个新的事件通知管理员故障已经消除，这个新的事件叫恢复事件。告警事件和恢复事件能对应起来的，这类事件定义为可恢复事件。有些设备故障发生时监控工具或设备本身只发出告警事件，故障消除后不会产生恢复事件，这一类事件定义为不可恢复事件。

恢复策略是对告警事件和恢复事件进行配对关联的，从而在设备故障消除之后，能够将告警事件的恢复状态置为已恢复，以便于管理员能够清楚感知到设备故障消除。

恢复策略的命中条件是用来帮助到来的恢复事件找到对应的告警事件。恢复策略条件构成中只有字段、没有运算符和配置值；恢复策略没有结果执行配置。恢复策略每个最小条件之间“与”关系（逻辑与：a且b 全真则真，有假则假。）。

规则字段说明

恢复策略规则举例说明，以ZABBIX为例：

策略条件字段为触发器，意味着触发器字段值一致的恢复事件才会与告警事件关联在一起，并将告警事件的恢复状态置为已恢复。

分组策略

各种监控工具的告警接入统一事件平台后，很难区分告警事件所属的设备类别，分组策略可将事件归类至Aix、linux、存储、数据库、中间件、网络等分类，解决告警事件设备类别划分的问题。

分组策略的命中条件是用来帮助到来的事件找到对应设备类别，分组策略条件构成中包括字段、运算符、配置值；分组策略每个最小条件之间可以是与或者或关系，具体可以根据实际情况进行设置。

内置分组策略默认去设备管理中查询设备类别进行划分。

规则字段说明

分组策略规则举例说明，以snmptrap事件分组到网络trap为例：

策略条件字段为Probe，意味着Probe是SNMPTrap Syslog的事件，分组为网络Trap。

升降级策略

事件级别表示事件的严重程度，管理员通过事件级别对告警事件决定处理的优先级。在实际监控运维中，监控工具在设置告警阈值时，可能会因为监控工具的功能限制、厂商定义的事件级别与我们实际认知的级别并不一致，例如某个网线是总裁办的，那么这个端口的DOWN就是最高级别的事件。又如某个存储只用于OA文件备份，存储设备发出的Trap告警事件级别是严重，但是实际上对正常业务并没有什么影响，通过升降级策略对监控工具发出的告警事件重新定义级别，提升了告警的准确性，并且避免了“噪声”。

同时还可以定义“业务级别”，“业务级别”是另一个维度的用户自定义级别。例如业务级别设置为“重要紧急、重要不紧急、信息提示”三种级别。

举例“业务级别”定义：

策略维护页面

规则字段说明：

升降级策略命中类型包括条件字段和表达式，默认选中条件字段，以四川虹信ACPI告警降级事件接入的事件升降级为例：

策略含义为描述包含“ACPI is in the working state”且显示名称包含“四川虹信_TG225”的事件，新的事件级别为通知。

命中类型为表达式时：

如下表达式含义为：按照NodeAlias区分生产还是测试，然后按事件分组和事件级别进行业务级别划分。以操作为例，如果NodeAlias中包括“业务类型:生产”并且事件分组为“操作系统”时事件级别等于5时业务级别为重要紧急，事件级别等于4时业务级别为重要不紧急，事件级别等于3时业务级别为信息提示，其他分类为未分类。

<#if NodeAlias?? && ParentEventCategory?? && Severity??>

<#if NodeAlias?contains(“业务类型:生产”)>

<#if ParentEventCategory=”操作系统”>

<#if Severity=5>重要紧急

<#elseif Severity=4>重要不紧急

<#elseif Severity=3>信息提示

<#elseif Severity=2>未分类

<#elseif Severity=1>未分类

<#elseif Severity=0>未分类

<#elseif ParentEventCategory=”Storage”>

<#if Severity=5>重要紧急

<#elseif Severity=4>重要不紧急

<#elseif Severity=3>信息提示

<#elseif Severity=2>未分类

<#elseif Severity=1>未分类

<#elseif Severity=0>未分类

<#else>

<#if Severity=5>重要紧急

<#elseif Severity=4>重要不紧急

<#elseif Severity=3>信息提示

<#elseif Severity=2>未分类

<#elseif Severity=1>未分类

<#elseif Severity=0>未分类

<#elseif NodeAlias?contains(“业务类型:测试”)>

<#if ParentEventCategory=”操作系统”>

<#if Severity=5>重要不紧急

<#elseif Severity=4>信息提示

<#elseif Severity=3>信息提示

<#elseif Severity=2>未分类

<#elseif Severity=1>未分类

<#elseif Severity=0>未分类

<#else>

<#if Severity=5>重要不紧急

<#elseif Severity=4>信息提示

<#elseif Severity=3>信息提示

<#elseif Severity=2>未分类

<#elseif Severity=1>未分类

<#elseif Severity=0>未分类

表达中的NodeAlias、Severity、ParentEventCategory等含义参考附录中事件字段描述，除了已经出现在表达式的字段外，附录中事件字段描述涉及的的事件字段均可以用在表达式中。

屏蔽策略

在日常业务运营过程中，经常需要做一些变更操作，在变更操作过程中，监控工具并没有停止监控，变更操作期间不免会产生一些“无效”事件，这些无效事件不需要被关注或者处理。屏蔽策略可以对变更期间监控工具产生的事件进行屏蔽处理。

屏蔽策略的命中条件是用来判断到来的事件是否需要屏蔽。屏蔽策略结果执行对符合屏蔽策略的事件进行屏蔽标记，屏蔽方式包括不通知、不展示。

规则字段说明：

屏蔽策略规则举例说明，以snmptrap屏蔽告警的事件屏蔽为例：

策略条件字段为级别，意味着事件级别大于等于“未知”的事件被屏蔽掉，屏蔽类型为不展示、不通知。

通知策略

事件经过丰富、压缩、恢复、分组、升降级、屏蔽处理之后，最终到了通知确认环节，通知确认是将事件通知到管理员，管理员根据事件详情采取相应的动作。

通知策略的命中条件是用来判断到来的事件是否需要通知，不设置通知人时，通知人按照告警通知分组进行自动匹配通知人。若是设置了通知人，则按照填写账号进行通知。

规则字段说明：

通知策略规则举例说明，以通用通知规则策略为例：

策略条件字段为级别，意味着事件级别未知以上的告警事件会以事件总线方式通知到管理员，管理员配置在告警通知组中。

通知策略其他操作参考告警配置基本操作说明。

维护期策略

维护期策略是屏蔽策略的简化配置处理，具体表现在策略条件提供设备IP选择、URL选择以及手工录入的方式，主要针对设备周期性维护、应用周期性变更进行简化。结果执行上默认不通知、不展示。

被屏蔽的告警事件在屏蔽期内如果没有恢复，在屏蔽期结束之后，未恢复的告警事件仍然会按通知规则通知给设备管理员。

规则字段说明：

维护期策略规则举例说明，以以下规则策略为例：

维护期设备为10.X.X.1、10.X.X.2、10.X.X.3的这三台设备不通知、不展示。

通知服务

通知服务实现了对通知介质、通知内容格式的配置，包括了邮件、事件总线以及socket三类通知介质。

通知内容模板中${####}中####取值来自于事件字段，事件字段所有字段都可以以${####}格式出现在模板中，事件字段参考附录中事件字段描述。

邮件通知服务配置

字段说明：

HTTP通知服务配置界面。

字段说明：

告警通知对象

告警通知对象定义了接入的告警事件可以发送给哪些人。 通知对象通过告警通知组以及关联设备匹配告警。

通知对象添加，点击“”按钮，打开新增弹窗。

字段说明：

告警通知对象接收的告警事件可以是一台或者多台设备，比如只接收10.0.0.1、10.0.0.2两台设备的告警事件；也可以接收一类或多类设备的告警事件，比如接收操作系统、服务器硬件的告警事件。

例如：接收一台或多台设备告警事件，可以点击“关联设备”下拉选框，弹出设备选择面板。

在设备选择面板上勾选需要接收告警事件的设备，如13.3.68.27、192.168.122.101，然后提交。

或者，接收一类或多类设备告警事件，可以前往告警通知组页面进行设置。

告警通知组

告警通知组就是告警接收人的集合，一般按照业务类型或者设备类型进行设置，比如操作系统组、网络设备组等。告警通知组可以关联多个设备类别和业务标签，意味着告警通知确认时，该告警通知组可以收到关联设备类别和业务标签的所有事件。

新建告警通知组时，需要添加业务通知组关联的设备类别、业务标签、告警通知对象。

点击“”按钮弹出告警通知组添加窗口。

字段说明：

关联设备类别为下拉选框，可以输入关键字进行搜索过滤。