告警管理
本章覆盖：告警规则 / 动态基线 / 异常检测 / 活跃告警 / 历史告警 / 告警静默。 告警中心是平台"观测 → 检测 → 定位 → 处置"闭环的中枢:它把分散在指标、日志、链路里的异常信号收敛成统一的告警事件,通过规则判定、动态基线降噪、静默抑制和多渠道通知,帮助运维团队第一时间发现问题、抑制噪音、缩短故障根因定位时间(MTTR)。本章依次介绍告警规则、动态基线告警、异常检测、活跃告警、历史告警与告警静默六个子模块。
级别约定:全平台告警级别统一为 1 紧急 / 2 警告 / 3 通知 三档,分别以红、橙、蓝色徽标呈现,后续各节不再重复说明。
告警规则
. 功能简介
告警规则定义"在什么数据上、满足什么条件时产生告警"。平台支持两类规则:指标规则(Prometheus) 直接用 PromQL 表达式判定,日志规则(Elasticsearch) 对日志做聚合统计后与阈值比较。规则可绑定通知渠道、根因分析工作流,并按分类归档,便于大规模规则的组织与检索。
. 进入路径
左侧导航栏 告警管理 → 告警规则,或直接访问 /alerts/rules。
. 界面总览
页面顶部为三张统计卡片(规则总数 / 已启用 / 已停用),中部为搜索框与状态分段筛选,下方左侧是规则分类导航,右侧为按分类分组的规则表格。
. 界面元素说明
统计卡片与工具栏:
| 元素 | 含义 |
|---|---|
| 规则总数 / 已启用 / 已停用 | 当前规则的数量统计 |
| 搜索规则名称 | 按规则名称模糊过滤 |
| 全部 / 启用 / 停用 | 按启用状态分段筛选 |
| 规则分类(左侧) | 按规则「分类」字段归组;点击「全部分类」或某一分类可快速定位 |
| 新建规则 | 打开新建告警规则抽屉(需 alert:write 权限) |
规则表格字段:
| 字段 | 含义 |
|---|---|
| 名称 | 规则名称 |
| 类型 | 指标(Prometheus)或日志(Elasticsearch) |
| 数据源 | 规则绑定的数据源名称 |
| 条件 | 判定条件摘要。指标规则显示 PromQL 与留观时长;日志规则显示"聚合函数(过滤条件) 比较符 阈值 / 时间窗口" |
| 级别 | 告警级别徽标(紧急 / 警告 / 通知) |
| 启用 | 行内开关,可直接启用或停用该规则 |
| 操作 | 编辑 / 删除 |
. 操作步骤
以新建一条指标告警规则为例:
- 点击右上角 新建规则,打开新建抽屉。
- 类型 选择"指标 (Prometheus)"。
- 填写 名称(如
cpu-high),并在 分类 中选择已有分类或直接输入新分类(如 主机 / 网络 / 存储),用于左侧分类导航归档。 - 选择 数据源(仅列出 Prometheus 类型数据源)。
- 在 PromQL 查询 中直接把条件写进表达式(如
up == 0或node_load1 > 4),可点击 预览 校验查询是否成功。 - 设置 留观时长(秒)(条件需持续满足多久才告警)、执行频率(秒)(多久评估一次)与 严重级别。
- 在「通知」区可开启 启用恢复通知、设置 重复通知间隔(分钟) 与 最大发送次数(0 = 不限);在 通知渠道 中勾选一个或多个已配置的渠道(企业微信 / 钉钉 / 飞书 / Webhook),平台会在保存时自动生成回调地址。
- 如需自动根因分析,可在 根因分析 中选择一个已启用的 RCA 工作流;还可选填 回调地址、附加标签(key=value)与 附加信息(键值对)。
- 确认 启用 开关处于打开状态,点击 创建 完成。
若创建日志规则,则在类型处选择"日志 (Elasticsearch)",填写 索引、过滤 (Lucene)(如 level:ERROR AND service:api)、时间字段、时间窗口(秒)、聚合函数(count/sum/avg/max/min/p90/p95/p99)、聚合字段(count 无需)、可选 分组字段,再设置 比较符 与 阈值。
. 常见问题 / 注意事项
- 数据源与规则类型绑定:编辑已有规则时,类型与数据源不可更改;如需更换请重建规则。
- 指标规则条件写在表达式里:PromQL 规则不设单独阈值框,判定条件(如
== 0、> 4)直接写进表达式。 - 预览仅指标规则可用:预览调用查询接口验证 PromQL 是否返回 series,不代表已触发告警。
- 通知渠道需先配置:通知渠道下拉的选项来自「通知媒介 → 通知渠道」,若为空请先前往创建。
- 无
alert:write权限的用户看不到「新建规则」及行内编辑,启用状态以只读徽标显示。
动态基线告警
. 功能简介
动态基线告警面向基础设施层(A 层)提供免阈值的智能降噪能力:检测器为每条指标序列学习它自己的基线,只导出异常分数(aiops_detector_score / aiops_detector_votes),异常判定交由告警层完成。本页可一键覆盖 11 个基础设施信号,生成 12 条推荐告警规则并同步到告警引擎,避免逐条手工设定静态阈值。
. 进入路径
左侧导航栏 告警管理 → 动态基线告警,或直接访问 /alerts/detection-baseline。
. 界面总览
页面上半部分为 12 条推荐规则的说明表格与可展开的「算法说明」,下半部分为「一键生成」操作区。
. 界面元素说明
推荐规则表格字段:
| 字段 | 含义 |
|---|---|
| 规则名 | 生成的规则名称,统一带 [动态基线] 前缀 |
| 信号 | 检测器的指标 / 信号名(如 cpu_load、memory_utilization) |
| 算法 | 该信号使用的检测算法(MAD+IQR / Poisson / Trend) |
| 触发条件 | 内联在 PromQL 中的判定条件(如 votes ≥ 2、score ≥ 3) |
| 级别 | 告警级别 |
| 含义 | 该规则检测的业务含义 |
一键生成区:
| 元素 | 含义 |
|---|---|
| 选择 Prometheus 数据源 | 基线规则作用的数据源(仅列 Prometheus 类型) |
| 通知机器人(选填) | 为生成的规则批量绑定通知渠道;不选则只在告警中心出事件、不推送通知 |
| 一键生成动态基线告警 | 创建或更新这 12 条 [动态基线] 规则(需 alert:write 权限并已选数据源) |
算法说明(展开「算法说明」可见):MAD(鲁棒离群,以中位数为基)、IQR(Tukey 栏,与 MAD 共识 votes≥2 才告警)、Poisson(稀疏计数突发,适合平时为 0 的错误 / 重传)、Trend(趋势耗尽,预测磁盘填满时间)。
. 操作步骤
- 在「一键生成」区选择目标 Prometheus 数据源。
- 如需在触发时推送通知,选择一个或多个 通知机器人(可留空)。
- 点击 一键生成动态基线告警,在确认气泡中点击 确认。
- 生成成功后页面提示"新建 N 条,更新 M 条",可点击提示中的 前往告警规则页查看 跳转到
/alerts/rules核对。
. 常见问题 / 注意事项
- 可重复执行,会重置:重复点击会把这 12 条规则重置回推荐基线;如想保留个性化修改,请去掉规则名的
[动态基线]前缀,使其不再被覆盖。 - 无数据源时无法生成:若下拉提示"无 Prometheus 数据源",请先在数据源页接入 Prometheus。
- 检测器只产出分数,真正的"是否告警"由生成的规则(如
votes ≥ 2)决定,因此可在告警规则页对这些规则复用静默、恢复通知等能力。 - 生成操作需要
alert:write权限。
异常检测
. 功能简介
异常检测页汇总 AI 检测服务(aiops-detector)对指标时序识别出的异常事件,并支持对单条异常一键触发 AI 根因分析(RCA),给出根因假设与多步调查过程,加速故障定位。异常已同时导出为指标 aiops_anomaly_active,可在告警规则页复用其通知、静默与恢复能力。
. 进入路径
左侧导航栏 异常检测(查询模块),或直接访问 /query/anomalies。
. 界面总览
页面顶部为接入告警的提示条,其下为按节点(host)与级别的过滤区,主体为异常事件列表。
. 界面元素说明
过滤区:
| 元素 | 含义 |
|---|---|
| 按节点(host)过滤 | 按节点名过滤异常 |
| 级别下拉 | 全部级别 / CRITICAL / WARNING / INFO |
| N 条异常 | 当前结果条数 |
异常列表字段:
| 字段 | 含义 |
|---|---|
| 时间 | 异常检测窗口的结束时间 |
| 节点 | 发生异常的节点名 |
| 指标 | 异常指标(如 CPU 利用率、内存利用率) |
| 级别 | CRITICAL / WARNING / INFO |
| 检测器 | 触发的检测器列表 |
| 投票 | 检测器共识票数 |
| 根因线索 | 规则层给出的初步线索 |
展开某一行可见 AI 根因分析 面板:提供 AI 根因分析 按钮(需 ai:write 权限)、可选专家 / 温度 / 步数参数,分析完成后展示根因结论、可折叠的"调查过程"步骤,以及"有用 👍 / 没用 👎"反馈按钮。
. 操作步骤
- (可选)在过滤区输入节点名或选择级别,缩小异常范围。
- 在列表中定位关注的异常行,点击行首展开图标打开 AI 根因分析面板。
- (可选)选择专家,或调整温度 / 步数参数。
- 点击 AI 根因分析,等待分析完成后查看根因结论与调查过程。
- 阅读后可点击 有用 👍 或 没用 👎 反馈,帮助平台持续优化。
- 如需纳入告警闭环,可按提示条指引,去 告警规则 新建一条
aiops_anomaly_active == 1规则并选通知渠道。
. 常见问题 / 注意事项
- 当前演示环境为空态:本环境暂无异常数据,列表显示"暂无异常",无法展开下钻。产生异常数据后,列表会逐行列出异常,点击行首展开图标即可查看某条异常的检测器、线索与 AI 根因分析明细。
- AI 根因分析结论仅供参考,需结合实际指标 / 日志 / 链路综合判断。
- 触发 AI 根因分析需要
ai:write权限;无权限时按钮不可用。 - 异常检测与告警是两套视图:异常在此页浏览与下钻,若要走通知 / 静默 / 恢复流程,需通过
aiops_anomaly_active指标接入告警规则。
活跃告警
. 功能简介
活跃告警页展示当前正在触发(未恢复) 的告警事件,是值班处置的主视图。页面提供按级别的快捷汇总卡片、多条件过滤,并支持对单条告警一键创建静默、展开查看事件明细。列表每 15 秒自动刷新。
. 进入路径
左侧导航栏 告警管理 → 活跃告警,或直接访问 /alerts/active。
. 界面总览
页面顶部为四张按级别汇总的卡片(活跃 / 紧急 / 警告 / 通知),点击可按级别快速筛选;其下为过滤条,主体为活跃告警列表。
. 界面元素说明
汇总卡片:
| 卡片 | 含义 |
|---|---|
| 活跃 | 当前活跃告警总数(点击清除级别筛选) |
| 紧急 / 警告 / 通知 | 各级别告警数;点击按该级别筛选 |
过滤条:
| 元素 | 含义 |
|---|---|
| 按规则名称过滤 | 规则名模糊匹配 |
| 告警级别 | 多选级别过滤 |
| 时间范围 | 按触发时间过滤 |
告警列表字段:
| 字段 | 含义 |
|---|---|
| 规则 | 触发的规则名(附带事件标签) |
| 级别 | 告警级别徽标 |
| 节点 | 目标节点标识 |
| 组别 | 业务 / 采集组别 |
| 状态 | 触发中 / 已认领 |
| 触发时间 | 首次触发时间 |
| 触发值 | 触发时的指标 / 统计值 |
| 标签 | 事件标签 |
| 操作 | 静默(为该告警一键创建静默,需 alert:write 权限) |
. 操作步骤
- 通过顶部卡片或过滤条聚焦目标告警(如只看"紧急")。
- 点击行首展开图标查看该告警的规则、级别、节点、组别、状态、触发时间、触发值与标签明细。
- 如需临时抑制该告警,点击行末 静默,平台会用该事件的标签预填静默条件,确认后即创建静默(详见 8.6)。
. 常见问题 / 注意事项
- 当前演示环境为空态:本环境暂无活跃告警,列表显示"当前无活跃告警",无法展开下钻。产生告警数据后,列表会逐行列出活跃告警,点击行首展开图标即可查看该告警的完整明细,并可对其一键静默。
- 列表每 15 秒自动刷新,无需手动刷新页面。
- 已恢复的告警会从本页移除,转入「历史告警」。
- "静默"操作与行内编辑需
alert:write权限。
历史告警
. 功能简介
历史告警页回溯已触发过的告警事件(含已恢复与仍在触发的),用于事后复盘、趋势分析与审计。后端保留最近 30 天窗口,列表每 30 秒自动刷新。
. 进入路径
左侧导航栏 告警管理 → 历史告警,或直接访问 /alerts/history。
. 界面总览
页面顶部为过滤条(规则名 / 级别 / 时间范围),主体为历史告警列表,可展开查看单条事件明细。
. 界面元素说明
| 字段 | 含义 |
|---|---|
| 规则 | 触发的规则名(附带事件标签) |
| 级别 | 告警级别徽标 |
| 状态 | 已恢复 / 触发中 |
| 触发时间 | 首次触发时间 |
| 恢复时间 | 恢复时间(未恢复显示 —) |
| 触发值 | 触发时的指标 / 统计值 |
| 标签 | 事件标签 |
展开某行可见明细面板,额外补充 节点、组别 等字段。
. 操作步骤
- 在过滤条输入规则名、选择级别或时间范围以缩小范围。
- 点击行首展开图标查看该历史告警的完整明细(规则、级别、节点、组别、状态、触发 / 恢复时间、触发值、标签)。
. 常见问题 / 注意事项
- 时间范围限最近 30 天:后端历史窗口为 30 天,时间选择器不可选择 30 天以前或未来的日期。
- 过滤在已拉取的列表上进行(受后端返回条数约束),规模可控。
- 列表每 30 秒自动刷新。
告警静默
. 功能简介
告警静默(Silences)用于在指定时间窗口内、按标签条件抑制匹配的告警通知,常用于计划内维护、已知问题降噪等场景。静默只抑制通知,不影响告警事件本身的产生与记录。
. 进入路径
左侧导航栏 告警管理 → 告警静默,或直接访问 /alerts/silences。
. 界面总览
页面为静默规则列表,右上角提供「新建静默」入口。
. 界面元素说明
静默列表字段:
| 字段 | 含义 |
|---|---|
| 名称 | 静默规则名称 |
| 匹配条件 | 由若干标签匹配器组成(以 AND 连接) |
| 时间窗口 | 静默生效的起止时间 |
| 时长 | 由起止时间换算的时长 |
| 状态 | 生效中 / 已禁用 / 已过期 |
| 操作 | 编辑 / 删除 |
新建静默抽屉字段:
| 字段 | 含义 |
|---|---|
| 名称 | 静默名称 |
| 匹配条件(标签) | 一条或多条匹配器,每条含 标签键、操作符(== / != / =~ / !~ / in / not in)、值(in / not in 用逗号分隔多值) |
| 时间窗口 | 静默生效的起止时间 |
| 级别(留空 = 全部) | 限定生效的告警级别,不选则不限 |
| 原因 | 备注说明(如 计划内维护) |
| 启用 | 是否启用该静默 |
. 操作步骤
- 点击右上角 新建静默 打开抽屉。
- 填写 名称(如
planned-maintenance)。 - 在 匹配条件 中添加一条或多条标签匹配器,填写标签键、选择操作符、填写值;可点击 ＋ 添加匹配条件 增加多条(多条之间为 AND 关系)。
- 选择 时间窗口 起止时间。
- (可选)在 级别 中限定生效级别,填写 原因 备注。
- 确认 启用 打开,点击 创建。
快捷方式:在「活跃告警」列表对某条告警点击 静默,会自动带出该事件的标签作为匹配条件并预填静默名,只需补充时间窗口即可创建。
. 常见问题 / 注意事项
- 静默只抑制通知:告警事件仍会产生并记录在活跃 / 历史告警中,只是不再向渠道推送。
- 状态含义:超过结束时间的静默显示"已过期"并自动失效;手动关闭「启用」显示"已禁用"。
in/not in操作符的值需用逗号分隔多个候选值。- 新建、编辑、删除静默需
alert:write权限。