自动化脚本

概述 运维团队三个人，管着 200 台服务器。每天上班第一件事：挨个 SSH 登录，检查磁盘、内存、CPU、连接数、证书过期时间……一上午就过去了。遇到突发故障，根本来不及巡检，问题已经在用户投诉里炸了。 这不是个别现象。很多中小团队的运维巡检还停留在"人肉+脚本"的阶段——有几个 Shell 脚本，但散落在各个机器上，没人维护，没人知道上次跑是什么时候，输出也没人看。 自动化巡检平台解决的就是这个问题。不是简单的"把脚本集中起来跑"，而是一套完整的体系：插件化的检查项、并发的执行引擎、灵活的告警策略、可读的巡检报告。这篇文章从架构设计到代码实现，讲清楚怎么用 Go 搭一个生产可用的巡检平台。 为什么选 Go 而不是 Python？三个原因：单二进制部署、协程并发模型天然适合巡检场景、交叉编译方便分发到不同架构的服务器。Python 也能做，但在 200 台机器上分发 Python 环境和依赖的痛苦，经历过的人都懂。 巡检平台要解决什么问题 传统巡检的痛点 先看看"人肉巡检"到底有多痛： 痛点 具体表现 影响 覆盖不全 200 台机器只检查了 50 台常用的，剩下的"反正没出过事" 隐患积累，暴雷时措手不及 标准不统一 A 用 df -h，B 用 df -hT，C 写了个 Python 脚本但只有自己看得懂 换人就抓瞎，结果无法横向对比 无历史记录 巡检结果写在个人笔记里，离职后带走了 无法追溯趋势变化，“上周还好的怎么突然满了” 告警滞后 巡检发现磁盘 95%，但没人及时看到 从发现到处置间隔几小时甚至几天 人力浪费 3 个人每天花 2-3 小时巡检，月度耗时约 200 工时 相当于 1.25 个全职人力纯粹在做人肉检查 平台化巡检的核心能力 一个合格的巡检平台需要具备以下能力： ┌─────────────────────────────────────────────────────┐ │ 巡检平台核心能力 │ ├──────────┬──────────┬──────────┬──────────┬─────────┤ │ 检查引擎 │ 调度系统 │ 告警联动 │ 报告生成 │ 资产管理 │ │ │ │ │ │ │ │ 插件化 │ 定时触发 │ 多级阈值 │ HTML报告 │ 主机清单 │ │ 并发执行 │ 手动触发 │ 告警去重 │ 趋势图表 │ 分组管理 │ │ 超时控制 │ 补偿执行 │ 通知渠道 │ 差异对比 │ 标签体系 │ └──────────┴──────────┴──────────┴──────────┴─────────┘ 简单说：配置好检查项和阈值，平台自动在指定时间执行，发现问题立即告警，每次结果都存档可追溯。...

概述 漏洞扫描集成 CI/CD：从依赖检查到镜像安全是SRE运维工作中的重要技能。在实际生产环境中，掌握这些技术能够有效提升系统的稳定性和运维效率。 为什么需要漏洞扫描集成 CI/CD 随着系统规模的扩大和复杂度的增加，传统的运维手段已经难以满足现代分布式系统的需求。漏洞扫描集成 CI/CD能够帮助运维团队： 快速定位问题：通过系统化的工具和方法，缩短故障排查时间 提升系统可见性：建立全面的监控和可观测性体系 预防故障发生：通过主动发现和修复潜在风险，降低故障率 优化资源利用：合理分配和调度资源，提升系统性能 核心概念与原理 基础概念 漏洞扫描集成 CI/CD的核心在于建立标准化的流程和自动化的工具链。主要包括以下几个方面： 数据收集与处理：从各种数据源收集指标、日志和追踪信息 分析与可视化：通过仪表盘和告警系统展示系统状态 自动化响应：基于预设规则自动执行修复操作 持续优化：根据历史数据和反馈不断改进流程 关键技术点 1. 配置管理 合理的配置管理是漏洞扫描集成 CI/CD的基础。建议使用版本控制工具管理配置文件，确保变更可追溯： # 示例：配置版本控制 # 所有配置文件存放在 Git 仓库中 git init /etc/monitoring cd /etc/monitoring git add . git commit -m "Initial monitoring configuration" 2. 自动化工具选择 根据团队技术栈选择合适的工具： 场景 推荐工具 说明 配置管理 Ansible 无代理，适合中小规模 容器编排 Kubernetes 云原生标准 监控告警 Prometheus + Grafana 开源，社区活跃 日志收集 Loki / ELK 轻量或功能丰富 CI/CD GitLab CI / GitHub Actions 与代码托管集成 实践案例 场景：生产环境故障排查 假设线上服务出现响应延迟，排查步骤如下：...

概述 代码审查自动化：Lint、CI 与智能检查工具链是SRE运维工作中的重要技能。在实际生产环境中，掌握这些技术能够有效提升系统的稳定性和运维效率。 为什么需要代码审查自动化 随着系统规模的扩大和复杂度的增加，传统的运维手段已经难以满足现代分布式系统的需求。代码审查自动化能够帮助运维团队： 快速定位问题：通过系统化的工具和方法，缩短故障排查时间 提升系统可见性：建立全面的监控和可观测性体系 预防故障发生：通过主动发现和修复潜在风险，降低故障率 优化资源利用：合理分配和调度资源，提升系统性能 核心概念与原理 基础概念 代码审查自动化的核心在于建立标准化的流程和自动化的工具链。主要包括以下几个方面： 数据收集与处理：从各种数据源收集指标、日志和追踪信息 分析与可视化：通过仪表盘和告警系统展示系统状态 自动化响应：基于预设规则自动执行修复操作 持续优化：根据历史数据和反馈不断改进流程 关键技术点 1. 配置管理 合理的配置管理是代码审查自动化的基础。建议使用版本控制工具管理配置文件，确保变更可追溯： # 示例：配置版本控制 # 所有配置文件存放在 Git 仓库中 git init /etc/monitoring cd /etc/monitoring git add . git commit -m "Initial monitoring configuration" 2. 自动化工具选择 根据团队技术栈选择合适的工具： 场景 推荐工具 说明 配置管理 Ansible 无代理，适合中小规模 容器编排 Kubernetes 云原生标准 监控告警 Prometheus + Grafana 开源，社区活跃 日志收集 Loki / ELK 轻量或功能丰富 CI/CD GitLab CI / GitHub Actions 与代码托管集成 实践案例 场景：生产环境故障排查 假设线上服务出现响应延迟，排查步骤如下：...

概述 Git 工作流与团队协作：分支策略与代码审查实践是SRE运维工作中的重要技能。在实际生产环境中，掌握这些技术能够有效提升系统的稳定性和运维效率。 为什么需要Git 工作流与团队协作 随着系统规模的扩大和复杂度的增加，传统的运维手段已经难以满足现代分布式系统的需求。Git 工作流与团队协作能够帮助运维团队： 快速定位问题：通过系统化的工具和方法，缩短故障排查时间 提升系统可见性：建立全面的监控和可观测性体系 预防故障发生：通过主动发现和修复潜在风险，降低故障率 优化资源利用：合理分配和调度资源，提升系统性能 核心概念与原理 基础概念 Git 工作流与团队协作的核心在于建立标准化的流程和自动化的工具链。主要包括以下几个方面： 数据收集与处理：从各种数据源收集指标、日志和追踪信息 分析与可视化：通过仪表盘和告警系统展示系统状态 自动化响应：基于预设规则自动执行修复操作 持续优化：根据历史数据和反馈不断改进流程 关键技术点 1. 配置管理 合理的配置管理是Git 工作流与团队协作的基础。建议使用版本控制工具管理配置文件，确保变更可追溯： # 示例：配置版本控制 # 所有配置文件存放在 Git 仓库中 git init /etc/monitoring cd /etc/monitoring git add . git commit -m "Initial monitoring configuration" 2. 自动化工具选择 根据团队技术栈选择合适的工具： 场景 推荐工具 说明 配置管理 Ansible 无代理，适合中小规模 容器编排 Kubernetes 云原生标准 监控告警 Prometheus + Grafana 开源，社区活跃 日志收集 Loki / ELK 轻量或功能丰富 CI/CD GitLab CI / GitHub Actions 与代码托管集成 实践案例 场景：生产环境故障排查 假设线上服务出现响应延迟，排查步骤如下：...

概述 监控系统本身也需要被监控。Prometheus 采集了整个基础设施的指标，但如果 Prometheus 自己的配置出了问题、某个 target 掉线了、SSL 证书快过期了、告警规则写得有语法错误——谁来发现这些问题？答案是：一套自动化巡检脚本。本文围绕 Prometheus 生态，构建一套覆盖"拨测→证书检查→配置审计→规则验证→告警模拟→报表生成"的完整巡检工具集。 参考来源：Prometheus 官方文档、Blackbox Exporter 一、批量服务拨测脚本 1.1 基于 Blackbox Exporter 的拨测 Blackbox Exporter 是 Prometheus 官方的黑盒探测工具，支持 HTTP、TCP、ICMP、DNS 等协议。通过 Prometheus API 查询探测结果，可以实现批量服务健康检查： #!/usr/bin/env python3 """ 批量服务拨测脚本 通过 Prometheus API 查询 Blackbox Exporter 探测结果 """ import requests import json from datetime import datetime from typing import List, Dict, Optional from dataclasses import dataclass, asdict import smtplib from email.mime.text import MIMEText import sys @dataclass class ProbeResult: """探测结果""" instance: str module: str # http_2xx, tcp_connect, icmp 等 success: bool status_code: Optional[int] duration: float # 探测耗时（秒） error: Optional[str] last_error: Optional[str] ssl_cert_expiry_days: Optional[float] class PrometheusProber: """Prometheus 拨测器""" def __init__(self, prometheus_url: str, timeout: int = 30): self....

为什么 Go 适合运维工具 运维 CLI 工具对部署便捷性和执行效率有极高要求，Go 语言在这方面具有天然优势： 优势 说明 对比 Python 单二进制 编译产出独立可执行文件，无运行时依赖 需 Python 环境 + 依赖 跨平台 GOOS/GOARCH 交叉编译，一次编写到处运行 需虚拟环境管理 启动速度 毫秒级冷启动 解释执行有开销 并发模型 goroutine 轻量并发 需 threading/asyncio 内存占用 静态二进制内存占用低 解释器开销 生态成熟 标准库覆盖网络/文件/加密 依赖第三方库 Kubernetes、Docker、Terraform、Prometheus 等云原生核心工具均使用 Go 编写，Go 已成为云原生运维工具的事实标准语言。 cobra 框架快速上手 cobra 是 Go 生态最流行的 CLI 框架，提供命令树、flag 解析、自动补全等能力。根据 cobra 官方文档，它的设计理念是组合优于继承。 安装与项目初始化 # 安装 cobra CLI 工具 go install github.com/spf13/cobra/cobra@latest # 初始化项目 mkdir k8s-pod-cleaner && cd k8s-pod-cleaner go mod init github....

paramiko：SSH 批量管理基础 paramiko 是 Python 实现的 SSHv2 协议库，是运维自动化的底层基石。当需要精细控制 SSH 连接、处理非标准场景时，paramiko 提供了最大灵活性。 基础连接与命令执行 import paramiko import time def ssh_exec(host, port, username, password, command): """基础 SSH 命令执行""" client = paramiko.SSHClient() # 自动添加主机密钥（生产环境建议使用 known_hosts） client.set_missing_host_key_policy(paramiko.AutoAddPolicy()) try: client.connect(host, port=port, username=username, password=password, timeout=10) stdin, stdout, stderr = client.exec_command(command) # 获取退出码 exit_code = stdout.channel.recv_exit_status() output = stdout.read().decode().strip() error = stderr.read().decode().strip() return { 'host': host, 'exit_code': exit_code, 'output': output, 'error': error } finally: client.close() # 使用示例 result = ssh_exec('10....

概述 在自动化运维中，Ansible Playbook 经常需要处理数据库密码、API 密钥、SSH 私钥等敏感信息。如果这些数据以明文形式存储在代码仓库中，一旦仓库泄露，所有凭据都将暴露。Ansible Vault 作为 Ansible 内置的加密工具，通过 AES-256 对称加密算法保护敏感数据，确保只有授权用户才能访问。 我将从基础概念到生产实践，详细梳理 Ansible Vault 的使用方法、密码管理策略，以及在 CI/CD 流水线中的集成方案。 为什么需要 Ansible Vault 明文存储的风险 在实际运维中，敏感信息散落在多个位置： 位置 常见敏感数据 风险等级 group_vars/all.yml 数据库密码、Redis 密码 高 host_vars/web01.yml SSH 连接密码、BECOME 密码 高 Inventory 文件 ansible_password、ansible_ssh_pass 高 Playbook 变量 API Token、第三方密钥 中 Jinja2 模板 证书私钥、JWT Secret 高 明文存储的风险包括： 代码仓库泄露：Git 历史记录中永远保留明文密码，即使后续删除也能从历史中恢复 合规审计失败：PCI-DSS、ISO 27001 等安全标准要求敏感数据加密存储 团队协作风险：任何有仓库访问权限的人都能看到所有密码 日志泄露：Ansible 执行日志可能输出变量值，导致密码出现在日志文件中 Ansible Vault 的定位 Ansible Vault 不是唯一的密钥管理方案，但它是 Ansible 生态中最直接的选择： 方案 优点 缺点 适用场景 Ansible Vault 内置、零依赖、YAML 原生 单密码加密、无细粒度权限 中小规模团队、快速上手 HashiCorp Vault 动态密钥、租约管理、审计日志 需要额外部署和维护 大型企业、高安全要求 AWS Secrets Manager 云原生、自动轮转 厂商锁定、按量计费 AWS 云环境 SOPS + age 支持多密钥加密、Git 友好 需要额外工具 多人协作、GitOps 场景 参考 Ansible Vault 官方文档 了解完整功能列表。...

概述 Pipeline as Code 是 Jenkins 从"拖拽式配置"走向"代码化"的分水岭。把流水线定义写在 Jenkinsfile 中，纳入 Git 版本控制，意味着每次流水线变更都有 diff 可审查、有历史可追溯、有分支可回滚。从 Jenkinsfile 语法到生产级流水线设计，详细梳理 Pipeline as Code 的核心实践。 参考来源：Jenkins Pipeline 官方文档 一、Jenkinsfile 语法 1.1 声明式 vs 脚本式 Jenkins Pipeline 有两种语法风格： 维度 声明式（Declarative） 脚本式（Scripted） 语法 结构化 DSL Groovy 代码 可读性 高，接近配置文件 低，需要 Groovy 知识 灵活性 受限于 DSL 约束 完全自由 输入验证 内置 post、when 等结构 需手动实现 推荐场景 标准流水线、团队协作 复杂逻辑、条件分支多 // === 声明式 Pipeline === pipeline { agent any stages { stage('Build') { steps { sh 'make build' } } } } // === 脚本式 Pipeline === node { stage('Build') { sh 'make build' } } 实践建议：优先用声明式，仅在声明式无法表达的复杂逻辑处用 script {} 块嵌入脚本式代码。...

GitOps 核心原则 GitOps 是一种现代化的持续交付方法论，由 Weaveworks 在 2017 年提出。它将 Git 作为基础设施和应用配置的唯一可信源（Single Source of Truth），通过声明式方式实现持续部署。 根据 ArgoCD 官方文档，GitOps 遵循四大核心原则： 1. 声明式系统 基础设施和应用配置以声明式描述（YAML/Helm/Kustomize）存储在 Git 中： # Git 仓库结构示例 infra-repo/ ├── apps/ │ ├── frontend/ │ │ ├── deployment.yaml │ │ ├── service.yaml │ │ └── configmap.yaml │ └── backend/ │ ├── deployment.yaml │ └── service.yaml ├── helm/ │ └── values-production.yaml └── kustomize/ ├── base/ └── overlays/ ├── staging/ └── production/ 声明式描述的核心价值：配置即文档，Git 历史即审计日志。任何环境变更都可追溯、可回滚。 2. 版本控制 所有变更通过 Git 提交记录，天然具备：...