Kubernetes

概述 凌晨 1 点，你收到告警：GitLab CI 流水线队列堆积了 47 个 pending job。开发群炸了——“代码推了 40 分钟还没跑起来"“是不是 Runner 挂了"“赶紧加机器啊”。你登录控制台一看，3 个 Runner 全部满载，每个并发 10 个 job，30 个 slot 全占满了。加机器？Docker Machine 执行器拉起新 EC2 要 3 分钟，等机器 Ready 又要 2 分钟。5 分钟过去了，队列又涨了 20 个。 这不是假设。2025 年我在某出行项目做 CI/CD 平台重构时，就遇到过这个场景。当时的 Runner 架构是经典的 Docker Machine + AWS EC2 自动伸缩，高峰期排队 30-40 分钟是常态。后来我们迁移到 Kubernetes Executor + HPA 弹性伸缩，排队时间降到 30 秒以内。这中间踩了不少坑，也做了不少架构决策。 本文不讲 .gitlab-ci.yml 基础语法（那些 CSDN 上够多了），只聊 7 个真正影响生产效率的工程决策：执行器选型、资源规划、弹性伸缩、缓存设计、流水线编排、节点隔离、监控告警。每个决策都附实测数据和踩坑细节。 如果你在评估 CI/CD 平台选型，可以参考我之前的文章 相关文章：别让 Jenkins 决定你的发布节奏：用 Go 自研 DAG 调度引擎的架构决策与踩坑实录，里面对比了 Jenkins、GitLab CI 和自研调度引擎的差异。...

概述 “控制面全托管”——这句话让不少团队以为迁移到 ACK 托管集群后就能当甩手掌柜。实际上，托管只解决了 etcd、kube-apiserver、kube-controller-manager、kube-scheduler 这几个控制面组件的运维，数据面的问题一个不少。 我曾在一次 120+ 微服务的 K8s 迁移项目中，把自建集群切到 ACK 托管集群 Pro 版。迁移过程用了 3 个月，零故障切换——但切换之后的第一个月，凌晨告警没断过。不是 ACK 本身有问题，而是托管集群和自建集群在"看不见的地方"有很多行为差异，这些差异在自建集群时被你自己的运维习惯掩盖了，到托管集群上才暴露出来。 这篇文章把我踩过的 5 个最痛的坑整理出来，每个都附根因分析和修复方案。如果你正准备从自建 K8s 迁移到 ACK，或者刚迁移完正在经历告警风暴，这篇文章能帮你少走弯路。 先说结论：这 5 个坑不是 ACK 的 bug，而是从自建迁移到托管时的认知差。自建集群时你完全掌控每个组件，出了问题能从头排查；托管后控制面是个黑盒，你得换一套思路来运维。 踩坑一：网络插件选型——Flannel 还是 Terway，选错就是性能灾难 问题背景 迁移到 ACK 时第一个决策就是网络插件。ACK 支持两种：Flannel 和 Terway。这两个东西选错了，后面所有网络相关的性能问题都跟它有关。而且集群创建完成后不支持切换——选错了只能重建集群。 我在这个项目上选了 Flannel，原因很简单：自建集群用的也是 Flannel，迁移时 Pod 网段不用改，应用配置零调整。上线两周后，问题开始暴露。 先是某个微服务的 P99 延迟从自建集群的 170ms 飙升到 230ms。应用层没改过，代码没变，唯一变的是底层网络。然后是等保 2.0 审计，审计员要求 Pod 流量可审计，Flannel 的 Pod IP 在独立网段，VPC 流日志抓不到——直接开了一个中风险项。 根因分析 Flannel 在阿里云上基于 VPC 自定义路由实现跨节点 Pod 通信。简单说就是每个节点分一个 Pod CIDR 子网，Pod 的流量通过 VPC 路由表转发。这个方案能用，但有三个硬伤：...

概述 你管着一个 K8s 集群，API Server 的 --anonymous-auth=true 没关，etcd 的证书权限是 644，kubelet 的 --read-only-port=10255 还开着——这些东西单独看每个都是"小问题"，但攻击者拿到其中一个入口，就能一路横向打到整个集群。这不是假设，CNCF 2025 年度调查报告显示，超过 90% 的生产 K8s 集群存在至少一个 CIS Benchmark 级别的配置缺陷。 CIS（Center for Internet Security）Benchmark 是一套业界公认的安全配置基线，K8s 有对应的专门版本。kube-bench 就是用来跑这套基线检查的工具——你把它跑一遍，它告诉你哪些配置不符合安全标准、应该怎么改。 但这只是第一步。光跑出报告不够，你还得知道怎么修、怎么持续监控、怎么把扫描嵌进 CI/CD 流水线里。本文从实际操作出发，覆盖从安装 kube-bench、跑第一次扫描、解读报告、修复常见问题，到配合 Trivy 做镜像漏洞扫描、kube-hunter 做渗透模拟、把安全扫描自动化到 GitOps 流程中的完整路径。 CIS Kubernetes Benchmark 是什么 CIS Benchmark 说白了就是一份"安全配置检查清单"。CIS 这个组织拉了一批安全专家，把某个系统（操作系统、数据库、云平台、K8s 等）应该怎么做才算安全，整理成一份文档，每一条都有明确的检查方法和修复建议。 K8s 的 CIS Benchmark 把检查项分成四个层面： 层面 检查对象 典型检查项 控制平面 API Server、Scheduler、Controller Manager、etcd 是否禁用匿名访问、是否启用 RBAC、etcd 是否启用 TLS 工作节点 kubelet、kube-proxy 是否禁用只读端口、是否启用客户端证书认证 策略 RBAC、PodSecurityPolicy/PSA 是否使用最小权限、是否限制特权容器 托管服务 EKS/GKE/AKS 等 云平台特有的安全配置 每个检查项标注了严重级别：L1 是基本要求，任何环境都该满足；L2 是更严格的要求，适用于安全敏感度高的环境。...

概述 线上炸了，你打开 Kibana 搜日志，发现关键 Pod 3 分钟前被 OOM Kill 重启了，旧日志跟着容器一起灰飞烟灭。这种事在 K8s 环境里太常见了——Pod 是短命的，日志不能跟着 Pod 一起消失。 K8s 的日志采集和传统虚拟机完全不是一回事。传统环境日志躺在 /var/log/ 下，SSH 上去就能看。K8s 里 Pod 随时可能被调度到任何节点，随时可能被销毁重建，日志分散在整个集群。如果不做集中采集，故障排查时你根本找不到日志在哪。 这篇文章把 K8s 日志采集的几种方案拆开讲清楚：DaemonSet 模式、Sidecar 模式、以及基于节点 Agent 的方案。每种方案什么场景用、怎么配置、踩什么坑，全部覆盖。最后给出一套生产可用的选型决策框架。 K8s 日志的三种类型 在讲采集方案之前，先搞清楚 K8s 里有哪些日志。不同类型的日志采集策略完全不同。 1. 容器标准输出日志 这是最常见的一类。应用把日志写到 stdout/stderr，容器运行时（containerd 或 Docker）负责把这些日志落盘到节点的 /var/log/containers/ 目录。 # 查看某节点的容器日志文件 ls /var/log/containers/ # 输出示例 # nginx-xxx_default_app-abc123.log # redis-yyy_default_app-def456.log # 这些文件实际是指向 /var/log/pods/ 下的符号链接 ls -l /var/log/containers/nginx-xxx_default_app-abc123.log # lrwxrwxrwx 1 root root 99 ... nginx-xxx_default_app-abc123.log -> /var/log/pods/default_nginx-xxx_abc123/app/0.log 这类日志的好处是采集简单——DaemonSet 模式直接读 /var/log/containers/*....

概述 你在一家智能制造公司干运维。工厂车间里有 200 台边缘网关，每台跑着数据采集和实时质检的服务。之前用裸 Docker 部署，每次更新都得写脚本逐台 SSH 上去拉镜像、重启容器。200 台机器跑一轮，半小时过去了，中间还经常有几台网络抖动导致更新失败。 你心想：这不就是 Kubernetes 要解决的问题吗？编排、调度、滚动更新、自愈——全都有了。但真去装 K8s 的时候傻眼了：车间网关用的是 ARM 架构的工控机，2 核 CPU、2G 内存，光 etcd 就吃掉 500M，kube-apiserver、kube-scheduler、kube-controller-manager 一堆组件跑起来，系统资源所剩无几。 这时候 K3s 登场了。它是 Rancher 开发的轻量级 Kubernetes 发行版，把所有控制面组件打包成一个 50MB 的二进制文件，内存占用不到 512M，支持 ARM64/x86_64，自带 containerd 运行时、Flannel 网络、CoreDNS、Traefik Ingress——开箱即用。在树莓派上都能跑起来，工控机更不在话下。 这篇文章聊聊 K3s 在边缘计算场景下的实战：从架构原理到集群搭建，从网络方案到边缘自治，从监控告警到故障排查。不是入门教程的复述，而是生产环境踩坑后的经验总结。 K3s 架构：为什么它能在 512M 内存上跑起来 和 K8s 的关键差异 K3s 不是 K8s 的阉割版——这个说法太粗暴了。它是一个为资源受限环境重新设计的 Kubernetes 发行版。核心区别在以下几方面： 特性 K8s K3s 二进制大小 ~300MB（多组件） ~50MB（单二进制） 最低内存 2GB 512MB 存储后端 etcd（必须） SQLite（默认）/ etcd / MySQL / PostgreSQL 运行时 需单独安装 containerd/Docker 内置 containerd 网络 CNI 需手动安装 内置 Flannel Ingress 需手动安装 内置 Traefik DNS 需手动安装 内置 CoreDNS Alpha/Beta 特性 全部包含 剔除 云厂商专用代码 全部包含 剔除 架构支持 x86_64 / ARM64 x86_64 / ARM64 / ARMv7 K3s 的核心设计哲学是：在边缘场景下，你需要的是 K8s 的编排能力，而不是它的全部复杂性。去掉 alpha/beta 特性和云厂商专用代码后，K3s 保留了 K8s 的核心 API 和功能——Pod、Deployment、Service、ConfigMap、HPA、CronJob 这些你日常用的资源全都在，kubectl 命令完全兼容。...

概述 先回答一个最基本的问题：Service Mesh 是干嘛的？ 一句话：它帮你管微服务之间通信的那些破事。 微服务架构下，服务 A 调服务 B，看似简单的 HTTP 请求，实际上要处理一堆问题：超时了怎么办？重试几次？要不要熔断？流量怎么灰度？证书怎么管？链路怎么追踪？ 传统做法是每个服务自己搞定——Java 用 Spring Cloud，Go 用 go-kit，Python 用一些库。问题是不同语言各搞各的，升级一次 SDK 全部重新编译部署，运维想统一管理根本不可能。 Service Mesh 的思路是把这些通信逻辑从业务代码里剥离出来，放到一个独立的代理层（Sidecar 或节点级代理）。业务代码只管发 HTTP 请求，代理负责重试、熔断、加密、追踪。开发爽了，运维也爽了。 Istio 是 Service Mesh 领域最主流的实现，由 Google、IBM、Lyft 联合开发，2017 年开源，现在是 CNCF 仅次于 Kubernetes 的第二大牌面项目。这篇文章带你从零跑通 Istio，覆盖架构原理、安装部署、流量管理、安全策略和可观测性。 架构全景：控制平面与数据平面 Istio 的架构很清晰，分成两块： 控制平面（Control Plane）：Istiod，负责管理和配置数据平面的代理。你可以理解为"大脑" 数据平面（Data Plane）：一组代理，拦截和处理所有微服务之间的网络通信。你可以理解为"手脚" 数据平面有两种模式，这是 Istio 最核心的设计选择。 Sidecar 模式：经典方案 Sidecar 模式从 Istio 1.0 就有，是最成熟的方案。每个 Pod 旁边塞一个 Envoy 代理容器，所有进出该 Pod 的流量都先经过 Envoy。 ┌─────────────────────────────────┐ │ Pod │ │ ┌───────────┐ ┌─────────────┐ │ │ │ 业务容器 │←→│ Envoy │ │ │ │ (App) │ │ Sidecar │ │ │ └───────────┘ └─────────────┘ │ └─────────────────────────────────┘ ↑ ↓ 入站流量 出站流量 优点：...

概述 Kubernetes 安全加固：RBAC、NetworkPolicy 与 Pod 安全策略是SRE运维工作中的重要技能。在实际生产环境中，掌握这些技术能够有效提升系统的稳定性和运维效率。 为什么需要Kubernetes 安全加固 随着系统规模的扩大和复杂度的增加，传统的运维手段已经难以满足现代分布式系统的需求。Kubernetes 安全加固能够帮助运维团队： 快速定位问题：通过系统化的工具和方法，缩短故障排查时间 提升系统可见性：建立全面的监控和可观测性体系 预防故障发生：通过主动发现和修复潜在风险，降低故障率 优化资源利用：合理分配和调度资源，提升系统性能 核心概念与原理 基础概念 Kubernetes 安全加固的核心在于建立标准化的流程和自动化的工具链。主要包括以下几个方面： 数据收集与处理：从各种数据源收集指标、日志和追踪信息 分析与可视化：通过仪表盘和告警系统展示系统状态 自动化响应：基于预设规则自动执行修复操作 持续优化：根据历史数据和反馈不断改进流程 关键技术点 1. 配置管理 合理的配置管理是Kubernetes 安全加固的基础。建议使用版本控制工具管理配置文件，确保变更可追溯： # 示例：配置版本控制 # 所有配置文件存放在 Git 仓库中 git init /etc/monitoring cd /etc/monitoring git add . git commit -m "Initial monitoring configuration" 2. 自动化工具选择 根据团队技术栈选择合适的工具： 场景 推荐工具 说明 配置管理 Ansible 无代理，适合中小规模 容器编排 Kubernetes 云原生标准 监控告警 Prometheus + Grafana 开源，社区活跃 日志收集 Loki / ELK 轻量或功能丰富 CI/CD GitLab CI / GitHub Actions 与代码托管集成 实践案例 场景：生产环境故障排查 假设线上服务出现响应延迟，排查步骤如下：...

变更管理在 SRE 中的定位 Google SRE 总结的一条铁律：大约 70% 的线上故障由变更直接引发。无论是代码部署、配置修改、基础设施调整还是依赖升级，每一次变更都在向系统注入不确定性。因此，变更管理不是流程上的繁文缛节，而是 SRE 可靠性工程的第一道防线。 变更管理的核心目标可以归纳为三点： 降低爆炸半径——变更出了问题，影响面应尽可能小。 缩短发现问题的时间——变更后若出现异常，必须能在分钟级甚至秒级感知。 具备快速回滚能力——发现问题后，能在最短时间内恢复到上一个已知正常状态。 实现这三个目标的关键技术手段就是灰度发布与快速回滚。下面逐一展开。 金丝雀发布原理与实现 核心思想 “金丝雀"一词源自矿工带金丝雀下井探测有毒气体的做法。在软件发布中，金丝雀发布指的是：先将新版本部署到极小比例的实例上，引入少量真实流量进行验证，确认无异常后再逐步扩大流量比例，直至全量切换。 与全量发布相比，金丝雀发布的本质区别在于引入了流量比例控制和指标门控两个机制，使发布过程变成一个可控的、可观测的渐进过程。 流量比例控制 典型的金丝雀发布流量推进序列： 5% → 10% → 25% → 50% → 100% 每个阶段之间设置观察窗口（如 5-10 分钟），期间持续采集关键指标。只有当指标满足预设的健康标准时，才推进到下一阶段；否则自动暂停甚至回滚。 指标门控 指标门控是金丝雀发布的"大脑”。通常关注以下几类指标： 指标类别 示例 门控逻辑 错误率 HTTP 5xx 比例 金丝雀错误率 > 基线 1.5x → 自动回滚 延迟 P99 / P95 响应时间 金丝雀 P99 > 基线 + 50ms → 暂停推进 业务指标 下单成功率、支付成功率 成功率下降 > 2% → 自动回滚 资源指标 CPU、内存、连接数 资源使用率异常飙升 → 告警暂停 关键原则：门控指标必须从用户视角出发，而非仅看基础设施指标。一个 CPU 正常但 P99 翻倍的系统，仍然应该触发回滚。...

为什么需要 Helm 裸用 kubectl apply -f 管理 K8s 应用，在规模小时够用，但随着环境增多（dev/staging/prod）和服务增长，问题立刻暴露： 配置硬编码：每个环境一份 YAML，镜像 tag、副本数、资源限制全写死，改一个值要改十个文件 无版本管理：升级回滚靠手动记录，不知道上次部署了什么版本 无法复用：部署 Redis 和部署 MySQL 写两套完全不同的 YAML，无法模板化 Helm 是 K8s 的包管理器，把一组 K8s 资源打包成 Chart，通过 values.yaml 参数化配置，实现一份模板、多环境部署、版本化升级和一键回滚。 本文参考 Helm 官方文档 Helm Chart 目录结构 my-web-app/ ├── Chart.yaml # Chart 元信息（名称、版本、描述） ├── values.yaml # 默认配置值 ├── values-prod.yaml # 生产环境覆盖配置 ├── charts/ # 依赖的子 Chart ├── templates/ # K8s 资源模板 │ ├── _helpers.tpl # 命名模板（可复用的模板片段） │ ├── deployment.yaml # Deployment │ ├── service....

可靠性工程：不只是"不出故障" 可靠性工程的目标不是追求零故障——那既不现实也不经济。真正的目标是：在故障不可避免的前提下，让系统具备快速发现、自动恢复、持续学习的能力。 Google SRE 提出的核心公式： MTTR << MTBF / (MTBF + MTTR) × (1 - SLO) 这个公式揭示了一个关键事实：当故障间隔（MTBF）远大于修复时间（MTTR）时，系统的可用性自然趋近于 SLO 目标。因此，可靠性工程的发力方向是双重的——延长无故障时间（提升 MTBF）和缩短故障恢复时间（降低 MTTR）。 可靠性层级模型 参考 CMMI 能力成熟度模型的思想，可靠性工程同样存在层级递进关系。从低到高分为五个层级： 层级 特征 典型表现 L1 被动响应 故障发生后人工处理 告警轰炸 → 人工排查 → 手动恢复 L2 监控覆盖 关键指标可观测 仪表盘完备，告警有阈值，但恢复仍靠人 L3 自动化恢复 常见故障自动处理 健康检查自动重启、HPA 自动扩容 L4 主动预防 提前发现风险 压测、容量规划、混沌工程主动注入故障 L5 自愈系统 闭环自适应 故障自动感知 → 诊断 → 恢复 → 学习 大部分团队的真实水平在 L2 到 L3 之间。从 L3 到 L4 的跨越是最关键的——它意味着从"等故障来"转变为"主动找故障"。L5 自愈是理想态，也是持续演进的方向。 层级跃迁的关键 L1 → L2：建设可观测性体系（指标、日志、链路追踪）。 L2 → L3：引入自动化恢复机制（Kubernetes 健康检查、HPA、自动故障转移）。 L3 → L4：引入混沌工程，主动验证系统的弹性。 L4 → L5：建设自愈闭环，将人工经验沉淀为自动化策略。 每一层级的跨越都需要对应的技术投入和组织能力建设，不能跳级。...