SRE基础

概述 凌晨两点，你被电话吵醒。监控大屏一片红，核心交易链路 P99 延迟飙到 8 秒，上游服务开始超时熔断，客服群里用户截图已经刷屏了。你一边远程连 VPN，一边脑子里飞速转——这场景上次演练时见过吗？预案里有没有覆盖？切换步骤还记得吗？ 如果你这时候还在翻 wiki 找文档，那说明一件事：你的预案只是写了，没练过。 故障预案不是写完就完事的文档。它是一套需要反复演练、不断修正的应急肌肉记忆。就像消防队不会只在纸上画逃生路线——他们会点真火，拉真警报，让人在浓烟里跑。SRE 的故障演练也是同一个道理：不逼团队在接近真实的故障场景里做决策，到了真正出事的时候，你永远不知道谁会卡壳。 这篇文聊聊怎么把故障预案从"写给别人看的文档"变成"团队真正能执行的作战手册"，以及怎么设计演练体系让团队保持手感。 故障预案的本质：不是文档，是决策树 预案要解决什么问题 很多人把故障预案理解成一份操作手册——“如果 A 挂了，执行步骤 1-2-3”。这没错，但太浅了。真正有用的预案是一棵决策树，帮值班人员在高压环境下快速做对三件事： 判断故障等级——这事值不值得半夜叫人？叫到哪一级？ 选择止损路径——先切流量、先回滚、还是先扩容？ 确定沟通节奏——谁对外发声、多久同步一次、什么时候升级 我见过太多预案写得像产品说明书，事无巨细地列了 50 个步骤，值班同学在故障现场根本来不及看。好的预案应该短、狠、准——能在 30 秒内定位到对应的处置方案，3 分钟内开始执行止损。 预案体系的三层结构 层级 内容 目标读者 更新频率 L1 应急卡片 单服务故障的快速处置步骤（≤10 步） 值班 On-Call 每次演练后 L2 灾备预案 跨服务故障的切换方案与回滚流程 SRE 团队 每季度 L3 业务连续性预案 机房级故障的全面接管方案 SRE + 业务方 每半年 L1 应急卡片是日常用得最多的。它不是 wiki 上的长文，而是一张可以打印出来贴在工位上的卡片。格式很简单： # [服务名] 应急卡片 ## 故障特征 - 核心指标：P99 延迟 > 500ms 或 错误率 > 1% - 典型告警：service_latency_p99_critical / service_error_rate_high ## 快速止血（按优先级） 1....

概述 凌晨三点，核心交易系统挂了。值班同学手忙脚乱地翻 Runbook，DBA 说不是数据库的问题，网络组说链路正常，开发说代码没改。三个团队互相甩锅，故障恢复时间拖了 47 分钟。 这是很多公司运维现状的缩影。问题不在于人不努力，而在于没有一个工程化的可靠性团队来拆解问题。 SRE（Site Reliability Engineering）这个概念是 Google 在 2003 年提出来的。Ben Treynor Sloss 带着一帮软件工程师，用写代码的方式解决运维问题，而不是靠堆人力。(Google SRE 书 里把这个故事讲得很清楚) 但"建一个 SRE 团队"这件事，远比"招几个 SRE 工程师"复杂。这篇笔记记录的是从零搭建 SRE 团队的实战经验——岗位怎么设、人怎么招、能力怎么评、团队怎么带。不讲理论框架，讲踩过的坑和跑通的做法。 为什么要建 SRE 团队，而不是继续用传统运维 先说清楚一个根本问题：SRE 和传统运维到底有什么不同？ 传统运维团队的核心模式是"人肉运维"——出了问题靠经验排查，日常操作靠手动执行，知识靠师傅带徒弟口口相传。人越多，能覆盖的系统越多，但效率不会提升。真正的问题在于，这种模式下，运维工作量随系统规模线性增长，而人不可能无限招。 Google 的做法是用软件工程的方法替代重复性操作。SRE 团队里，每个人花在纯运维操作上的时间不超过 50%，剩下时间必须用来做工程化改进——写自动化工具、设计监控系统、优化部署流程。Google 在《SRE: Google 运维解密》中明确要求 SRE 团队的琐事（Toil）占比不得超过 50%，这叫"50% 规则"。(Google SRE Book - Eliminating Toil) 对比如下： 维度 传统运维团队 SRE 团队 核心能力 操作执行、经验排查 编码、系统设计、自动化 工作模式 被动响应 主动工程化 知识传承 口口相传 Runbook、文档、代码 团队规模与系统规模 线性增长 边际递减 考核导向 处理工单数量 可靠性指标 + 自动化覆盖率 故障处理 救火为主 事后复盘 + 系统性改进 一句话总结：传统运维是"用人力扛系统"，SRE 是"用代码养系统"。...

概述 大模型辅助故障排查：从日志分析到根因定位是SRE运维工作中的重要技能。在实际生产环境中，掌握这些技术能够有效提升系统的稳定性和运维效率。 为什么需要大模型辅助故障排查 随着系统规模的扩大和复杂度的增加，传统的运维手段已经难以满足现代分布式系统的需求。大模型辅助故障排查能够帮助运维团队： 快速定位问题：通过系统化的工具和方法，缩短故障排查时间 提升系统可见性：建立全面的监控和可观测性体系 预防故障发生：通过主动发现和修复潜在风险，降低故障率 优化资源利用：合理分配和调度资源，提升系统性能 核心概念与原理 基础概念 大模型辅助故障排查的核心在于建立标准化的流程和自动化的工具链。主要包括以下几个方面： 数据收集与处理：从各种数据源收集指标、日志和追踪信息 分析与可视化：通过仪表盘和告警系统展示系统状态 自动化响应：基于预设规则自动执行修复操作 持续优化：根据历史数据和反馈不断改进流程 关键技术点 1. 配置管理 合理的配置管理是大模型辅助故障排查的基础。建议使用版本控制工具管理配置文件，确保变更可追溯： # 示例：配置版本控制 # 所有配置文件存放在 Git 仓库中 git init /etc/monitoring cd /etc/monitoring git add . git commit -m "Initial monitoring configuration" 2. 自动化工具选择 根据团队技术栈选择合适的工具： 场景 推荐工具 说明 配置管理 Ansible 无代理，适合中小规模 容器编排 Kubernetes 云原生标准 监控告警 Prometheus + Grafana 开源，社区活跃 日志收集 Loki / ELK 轻量或功能丰富 CI/CD GitLab CI / GitHub Actions 与代码托管集成 实践案例 场景：生产环境故障排查 假设线上服务出现响应延迟，排查步骤如下：...

概述 数据驱动的 SRE 决策：从指标到行动的实践路径是SRE运维工作中的重要技能。在实际生产环境中，掌握这些技术能够有效提升系统的稳定性和运维效率。 为什么需要数据驱动的 SRE 决策 随着系统规模的扩大和复杂度的增加，传统的运维手段已经难以满足现代分布式系统的需求。数据驱动的 SRE 决策能够帮助运维团队： 快速定位问题：通过系统化的工具和方法，缩短故障排查时间 提升系统可见性：建立全面的监控和可观测性体系 预防故障发生：通过主动发现和修复潜在风险，降低故障率 优化资源利用：合理分配和调度资源，提升系统性能 核心概念与原理 基础概念 数据驱动的 SRE 决策的核心在于建立标准化的流程和自动化的工具链。主要包括以下几个方面： 数据收集与处理：从各种数据源收集指标、日志和追踪信息 分析与可视化：通过仪表盘和告警系统展示系统状态 自动化响应：基于预设规则自动执行修复操作 持续优化：根据历史数据和反馈不断改进流程 关键技术点 1. 配置管理 合理的配置管理是数据驱动的 SRE 决策的基础。建议使用版本控制工具管理配置文件，确保变更可追溯： # 示例：配置版本控制 # 所有配置文件存放在 Git 仓库中 git init /etc/monitoring cd /etc/monitoring git add . git commit -m "Initial monitoring configuration" 2. 自动化工具选择 根据团队技术栈选择合适的工具： 场景 推荐工具 说明 配置管理 Ansible 无代理，适合中小规模 容器编排 Kubernetes 云原生标准 监控告警 Prometheus + Grafana 开源，社区活跃 日志收集 Loki / ELK 轻量或功能丰富 CI/CD GitLab CI / GitHub Actions 与代码托管集成 实践案例 场景：生产环境故障排查 假设线上服务出现响应延迟，排查步骤如下：...

概述 SRE 视角的 FinOps：云成本可见性与优化策略是SRE运维工作中的重要技能。在实际生产环境中，掌握这些技术能够有效提升系统的稳定性和运维效率。 为什么需要SRE 视角的 FinOps 随着系统规模的扩大和复杂度的增加，传统的运维手段已经难以满足现代分布式系统的需求。SRE 视角的 FinOps能够帮助运维团队： 快速定位问题：通过系统化的工具和方法，缩短故障排查时间 提升系统可见性：建立全面的监控和可观测性体系 预防故障发生：通过主动发现和修复潜在风险，降低故障率 优化资源利用：合理分配和调度资源，提升系统性能 核心概念与原理 基础概念 SRE 视角的 FinOps的核心在于建立标准化的流程和自动化的工具链。主要包括以下几个方面： 数据收集与处理：从各种数据源收集指标、日志和追踪信息 分析与可视化：通过仪表盘和告警系统展示系统状态 自动化响应：基于预设规则自动执行修复操作 持续优化：根据历史数据和反馈不断改进流程 关键技术点 1. 配置管理 合理的配置管理是SRE 视角的 FinOps的基础。建议使用版本控制工具管理配置文件，确保变更可追溯： # 示例：配置版本控制 # 所有配置文件存放在 Git 仓库中 git init /etc/monitoring cd /etc/monitoring git add . git commit -m "Initial monitoring configuration" 2. 自动化工具选择 根据团队技术栈选择合适的工具： 场景 推荐工具 说明 配置管理 Ansible 无代理，适合中小规模 容器编排 Kubernetes 云原生标准 监控告警 Prometheus + Grafana 开源，社区活跃 日志收集 Loki / ELK 轻量或功能丰富 CI/CD GitLab CI / GitHub Actions 与代码托管集成 实践案例 场景：生产环境故障排查 假设线上服务出现响应延迟，排查步骤如下：...

概述 平台工程入门：内部开发者平台的设计与落地是SRE运维工作中的重要技能。在实际生产环境中，掌握这些技术能够有效提升系统的稳定性和运维效率。 为什么需要平台工程入门 随着系统规模的扩大和复杂度的增加，传统的运维手段已经难以满足现代分布式系统的需求。平台工程入门能够帮助运维团队： 快速定位问题：通过系统化的工具和方法，缩短故障排查时间 提升系统可见性：建立全面的监控和可观测性体系 预防故障发生：通过主动发现和修复潜在风险，降低故障率 优化资源利用：合理分配和调度资源，提升系统性能 核心概念与原理 基础概念 平台工程入门的核心在于建立标准化的流程和自动化的工具链。主要包括以下几个方面： 数据收集与处理：从各种数据源收集指标、日志和追踪信息 分析与可视化：通过仪表盘和告警系统展示系统状态 自动化响应：基于预设规则自动执行修复操作 持续优化：根据历史数据和反馈不断改进流程 关键技术点 1. 配置管理 合理的配置管理是平台工程入门的基础。建议使用版本控制工具管理配置文件，确保变更可追溯： # 示例：配置版本控制 # 所有配置文件存放在 Git 仓库中 git init /etc/monitoring cd /etc/monitoring git add . git commit -m "Initial monitoring configuration" 2. 自动化工具选择 根据团队技术栈选择合适的工具： 场景 推荐工具 说明 配置管理 Ansible 无代理，适合中小规模 容器编排 Kubernetes 云原生标准 监控告警 Prometheus + Grafana 开源，社区活跃 日志收集 Loki / ELK 轻量或功能丰富 CI/CD GitLab CI / GitHub Actions 与代码托管集成 实践案例 场景：生产环境故障排查 假设线上服务出现响应延迟，排查步骤如下：...

概述 SRE 文档化实践：Runbook、架构图与知识库建设是SRE运维工作中的重要技能。在实际生产环境中，掌握这些技术能够有效提升系统的稳定性和运维效率。 为什么需要SRE 文档化实践 随着系统规模的扩大和复杂度的增加，传统的运维手段已经难以满足现代分布式系统的需求。SRE 文档化实践能够帮助运维团队： 快速定位问题：通过系统化的工具和方法，缩短故障排查时间 提升系统可见性：建立全面的监控和可观测性体系 预防故障发生：通过主动发现和修复潜在风险，降低故障率 优化资源利用：合理分配和调度资源，提升系统性能 核心概念与原理 基础概念 SRE 文档化实践的核心在于建立标准化的流程和自动化的工具链。主要包括以下几个方面： 数据收集与处理：从各种数据源收集指标、日志和追踪信息 分析与可视化：通过仪表盘和告警系统展示系统状态 自动化响应：基于预设规则自动执行修复操作 持续优化：根据历史数据和反馈不断改进流程 关键技术点 1. 配置管理 合理的配置管理是SRE 文档化实践的基础。建议使用版本控制工具管理配置文件，确保变更可追溯： # 示例：配置版本控制 # 所有配置文件存放在 Git 仓库中 git init /etc/monitoring cd /etc/monitoring git add . git commit -m "Initial monitoring configuration" 2. 自动化工具选择 根据团队技术栈选择合适的工具： 场景 推荐工具 说明 配置管理 Ansible 无代理，适合中小规模 容器编排 Kubernetes 云原生标准 监控告警 Prometheus + Grafana 开源，社区活跃 日志收集 Loki / ELK 轻量或功能丰富 CI/CD GitLab CI / GitHub Actions 与代码托管集成 实践案例 场景：生产环境故障排查 假设线上服务出现响应延迟，排查步骤如下：...

概述 当你的业务从"服务一个城市"扩展到"服务全国"甚至"服务全球"时，单机房架构会遇到两个硬约束：距离带来的延迟和单点故障的风险。多地域多活架构是解决这两个问题的工程方案。 但多活架构是 SRE 领域最复杂的主题之一——它不是简单的"在两个机房部署服务"，而是涉及数据一致性、流量调度、故障切换、运维复杂度等一系列深层工程挑战。做对了，系统可用性从 99.9% 提升到 99.99%；做错了，多活架构本身就会成为最大的故障源。 从多活架构模式、数据一致性挑战、流量切换策略、容灾 RTO/RPO 设计、跨地域监控到故障切换演练，详细梳理多活架构的可靠性设计。 关于多活架构的深入讨论，可参考 Google SRE Book - Disaster Preparedness 和 AWS - Multi-Region Active-Active Architecture。 一、为什么需要多活架构 单机房架构的局限 单机房架构： ┌── App Server ×N 用户 ──→ DNS/CDN ──→ Load Balancer ─────┼── App Server ×N └── App Server ×N │ ┌─────────┴─────────┐ │ Database (主从) │ └───────────────────┘ 问题： 1. 如果机房断电/网络中断 → 全站不可用 2. 跨地域用户延迟高（北京到广州 ~30ms RTT） 3. 容量受限于单个机房 多活架构的驱动力 驱动力 说明 优先级 容灾 机房级故障时业务不中断 高 低延迟 就近服务用户，降低访问延迟 高 容量扩展 突破单机房容量上限 中 合规要求 数据必须在特定地域存储 视行业 容灾演练要求 监管要求具备跨机房容灾能力 视行业 容灾的关键指标 在设计多活架构之前，必须先明确两个容灾指标：...

概述 在现代软件工程中，SRE（站点可靠性工程）与开发团队的关系是最关键也最微妙的一环。开发追求的是"快速交付新功能"，SRE 追求的是"系统稳定运行"——这两个目标天然存在张力。如果协作模式设计不当，轻则效率低下、互相甩锅，重则线上事故频发、团队信任崩塌。 Google SRE Book 中有一句经典的话：“SRE 的核心矛盾在于，我们需要同时让开发团队快速前进，同时保持系统的可靠性。“这句话至今仍然精准。问题的本质不在于"要不要协作”——答案是显然的——而在于如何协作，采用什么样的组织模型、流程机制和工具支撑，才能让两个目标不冲突甚至互相促进。 将逐步梳理 SRE 与开发团队协作的常见模式、冲突根源、工程化解决方案，以及平台工程（Platform Engineering）等新趋势下的演进方向。内容基于 Google SRE Book、Team Topologies 等权威理论，结合一线生产实践经验。 冲突的根源：为什么 SRE 和开发天然存在张力 激励机制的不一致 SRE 与开发团队冲突的最深层原因，是两者激励机制的天然错位： 维度 开发团队 SRE 团队 核心目标 功能交付速度 系统稳定性 成功标准 发布频率、故事点完成率 SLA 达成率、事故数量 风险偏好 愿意承担一定风险快速上线 倾向于保守，降低变更风险 关注时间窗 短期（当前迭代/季度） 长期（系统全生命周期） 对变更的态度 变更是价值的来源 变更是故障的来源 这种错位不是"谁对谁错"的问题，而是组织分工带来的结构性矛盾。Google 最早提出的 SRE 模型，其实就是试图用工程化手段来协调这种矛盾。 常见的协作失败模式 在实际工作中，以下几种失败模式反复出现： 模式一：SRE 沦为"运维打杂” 开发把代码扔过墙，SRE 负责部署、监控、值班和擦屁股。SRE 没有时间和精力做工程改进，变成了高级运维。这是最常见的退化模式。 模式二：SRE 成为"发布守门人" SRE 拥有生产环境准入权，但缺乏工程能力帮助开发提升质量，只能靠"卡发布"来降低风险。结果是开发把 SRE 视为障碍，SRE 把开发视为不靠谱，信任持续恶化。 模式三：责任模糊的"共同所有权" 所有人对系统可靠性"共同负责"，结果没有人真正负责。事故发生时互相推诿，改进时无人牵头。 模式四：SRE 与开发完全隔离 SRE 团队自成体系，与开发几乎没有日常交流。SRE 对业务上下文缺乏理解，做出的架构决策脱离实际；开发对 SRE 的工作不了解，无法有效配合。...

变更管理在 SRE 中的定位 Google SRE 总结的一条铁律：大约 70% 的线上故障由变更直接引发。无论是代码部署、配置修改、基础设施调整还是依赖升级，每一次变更都在向系统注入不确定性。因此，变更管理不是流程上的繁文缛节，而是 SRE 可靠性工程的第一道防线。 变更管理的核心目标可以归纳为三点： 降低爆炸半径——变更出了问题，影响面应尽可能小。 缩短发现问题的时间——变更后若出现异常，必须能在分钟级甚至秒级感知。 具备快速回滚能力——发现问题后，能在最短时间内恢复到上一个已知正常状态。 实现这三个目标的关键技术手段就是灰度发布与快速回滚。下面逐一展开。 金丝雀发布原理与实现 核心思想 “金丝雀"一词源自矿工带金丝雀下井探测有毒气体的做法。在软件发布中，金丝雀发布指的是：先将新版本部署到极小比例的实例上，引入少量真实流量进行验证，确认无异常后再逐步扩大流量比例，直至全量切换。 与全量发布相比，金丝雀发布的本质区别在于引入了流量比例控制和指标门控两个机制，使发布过程变成一个可控的、可观测的渐进过程。 流量比例控制 典型的金丝雀发布流量推进序列： 5% → 10% → 25% → 50% → 100% 每个阶段之间设置观察窗口（如 5-10 分钟），期间持续采集关键指标。只有当指标满足预设的健康标准时，才推进到下一阶段；否则自动暂停甚至回滚。 指标门控 指标门控是金丝雀发布的"大脑”。通常关注以下几类指标： 指标类别 示例 门控逻辑 错误率 HTTP 5xx 比例 金丝雀错误率 > 基线 1.5x → 自动回滚 延迟 P99 / P95 响应时间 金丝雀 P99 > 基线 + 50ms → 暂停推进 业务指标 下单成功率、支付成功率 成功率下降 > 2% → 自动回滚 资源指标 CPU、内存、连接数 资源使用率异常飙升 → 告警暂停 关键原则：门控指标必须从用户视角出发，而非仅看基础设施指标。一个 CPU 正常但 P99 翻倍的系统，仍然应该触发回滚。...