告警

概述 凌晨三点，手机震动。你从被窝爬起来，打开电脑，SSH 上去，发现某个服务 CPU 飙升。Kill 进程，重启服务，12 分钟搞定——但你彻底清醒了。四点半又来一条告警：磁盘使用率超 85%。又爬起来，du -sh 定位，删掉过期日志，15 分钟。 这是无数运维工程师的日常。监控做了，告警配了，脚本也写了——但最后一步还是人在跑。而且偏偏在凌晨。 根据 Google SRE Book 的数据，一个典型的 SRE 团队每天接收 50-100 条告警，其中 80% 是噪音，超过 60% 的告警是重复处理过的已知问题。 告警自动化的目标不是消灭告警，而是把人的判断和操作转化为系统的自动响应。我将从告警降噪、分级路由、Runbook 自动化、自愈平台架构、AI 辅助治理五个维度，详细梳理如何构建告警自动化处理体系。 告警现状：为什么需要自动化 告警风暴的根源 告警风暴通常不是监控配置不足，而是配置泛滥的产物。以下是生产环境中最常见的告警问题模式： 问题模式 典型表现 根因 告警泛滥 每天 100+ 条告警，80% 无需人工介入 静态阈值过敏感，缺少聚合和去重 告警疲劳 工程师忽略告警通知，真正故障被淹没 信号噪声比太低，缺少优先级分级 重复告警 同一问题触发多条告警，不同监控视角 缺少告警关联和聚合机制 响应延迟 从告警到人工处理平均 15-30 分钟 缺少自动化响应，依赖人工介入 重复劳动 超过 60% 的告警处理流程完全相同 没有将已知操作沉淀为自动化 Runbook 告警生命周期的五个阶段 一个成熟的告警自动化系统应该覆盖告警的完整生命周期： ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ 1. 产生 │────▶│ 2. 降噪 │────▶│ 3....