Grafana

概述 数据库慢了，业务就慢了。这句话每个运维都听过，但真正把数据库监控做到位的团队，说实话不多。 我见过太多团队的数据库监控长这样：Zabbix 模板跑着十年前的指标，告警只有"CPU 超过 90%“和"磁盘满了"两条，数据库内部的连接数、锁等待、缓存命中率、复制延迟——这些真正能提前预警的指标，压根没采。等业务方跑来说"接口好慢”，你才发现数据库连接池早就满了，慢查询堆积了几百条。 数据库监控的核心难点不在于"装个 exporter"，而在于你知道该看哪些指标、怎么设阈值、怎么从指标变化中读出数据库的健康状况。这篇文章就把这些讲透。 覆盖 MySQL 和 PostgreSQL 两大主流数据库，从 exporter 部署、核心指标解读、告警规则设计到 Grafana 仪表盘配置，全链路打通。技术栈基于 Prometheus + Grafana，这是目前开源数据库监控的事实标准。 数据库监控的三层架构 在动手之前，先理清监控的层次。数据库监控不是一股脑把所有指标都采上来就完了，得分层： ┌──────────────────────────────────────────────────┐ │ 业务应用层 │ │ 核心接口响应时间 | 业务操作成功率 | 业务吞吐量 │ │ → 这些指标直接关联用户体验 │ ├──────────────────────────────────────────────────┤ │ 数据库内核层 │ │ 连接数 | QPS/TPS | 慢查询 | 锁等待 | 缓存命中率 │ │ 复制延迟 | 死锁 | WAL写入 | 事务回滚率 │ │ → 这些指标反映数据库内部运行状态 │ ├──────────────────────────────────────────────────┤ │ 服务器资源层 │ │ CPU | 内存 | 磁盘IO | 网络 | 文件系统 │ │ → 这些指标是数据库运行的物理基础 │ └──────────────────────────────────────────────────┘ 参考 数据库性能监控体系构建 的三层架构设计，每一层关注的问题不同：...

Grafana 是云原生时代最主流的可视化平台，但"能用"和"好用"之间隔着一套设计方法论。一个混乱的仪表盘会让值班人员在海量面板中迷失，而一个设计良好的仪表盘能在 5 秒内传递系统健康状态。从设计原则出发，覆盖变量系统、面板选型、告警集成，最后用一个完整的 SLO 仪表盘串联所有知识点。 参考来源：Grafana 官方文档 一、仪表盘设计原则 1.1 五秒规则 一个仪表盘应该在 5 秒内回答最核心的问题：系统现在是否正常？ 超过 5 秒才理解，说明信息层次不对。 实践方法： 顶部放置全局状态行：用 Stat 或 Gauge 面板展示 SLO 达成率、核心错误率、P99 延迟，绿/黄/红阈值一目了然。 中部放置趋势图：Time series 面板展示过去 1-6 小时的指标趋势。 底部放置明细表：Table 面板列出实例级明细，供深入排障。 1.2 从左到右、从上到下 人类阅读习惯是从左上到右下，仪表盘的信息流应顺应这一规律： ┌─────────────────────────────────────────────┐ │ [SLO] [错误率] [P99延迟] [流量] │ ← 第一行：一眼看状态 ├─────────────────────────────────────────────┤ │ CPU 趋势图 │ 内存趋势图 │ ← 第二行：趋势 │ 请求量趋势图 │ 错误率趋势图 │ ├─────────────────────────────────────────────┤ │ 实例明细表 │ ← 第三行：明细 └─────────────────────────────────────────────┘ 1.3 其他设计要点 一个仪表盘只服务一个主题：不要把"数据库监控"和"业务指标"混在一个仪表盘里。 合理利用阈值颜色：绿色=正常，黄色=警告，红色=严重，不要滥用颜色。 默认时间范围设为"最近 1 小时"：值班场景最常用。 命名清晰：面板标题写"CPU 使用率 (%)“而非"cpu”。 二、变量模板系统 变量（Variables）是仪表盘可复用性的核心。通过变量可以实现"一套模板，多环境切换"。...

概述 监控系统选型时，最纠结的问题之一是"用商业平台还是自建开源方案"。Datadog 是商业可观测性平台的标杆，开箱即用、功能全面、集成丰富，但价格不菲。Prometheus + Grafana 是开源自建方案的代表，灵活可控、无许可费用，但需要投入运维人力。 这不是一个简单的"省钱 vs 省事"的选择。对于快速增长的创业公司，Datadog 的开箱即用可能比省下的许可费更有价值；对于大规模基础设施，开源方案的边际成本优势会越来越明显。从功能、成本、运维、风险等多个维度系统对比两类方案，提供结构化的选型决策框架。 参考来源：Datadog 官网定价、CNCF 可观测性调查 一、Datadog 功能概览 1.1 产品矩阵 Datadog 提供了一个覆盖可观测性全生命周期的产品矩阵： ┌──────────────────────────────────────────────────────┐ │ Datadog 产品矩阵 │ │ │ │ 基础设施层 │ │ ├── Infrastructure Monitoring (主机/容器监控) │ │ ├── Network Monitoring (网络性能监控) │ │ └── Serverless (AWS Lambda/云函数监控) │ │ │ │ APM 层 │ │ ├── APM (分布式追踪) │ │ ├── Database Monitoring (数据库监控) │ │ ├── Continuous Profiling (性能分析) │ │ └── Real User Monitoring (前端 RUM) │ │ │ │ 日志层 │ │ ├── Log Management (日志采集+分析) │ │ └── Log Patterns (日志模式自动分类) │ │ │ │ 合成监控 │ │ ├── Synthetics (API/浏览器拨测) │ │ └── Continuous Testing (CI 集成测试) │ │ │ │ 安全与合规 │ │ ├── Cloud Security Management (云安全态势) │ │ └── Cloud SIEM (安全事件管理) │ │ │ │ 其他 │ │ ├── Incident Management (事件管理) │ │ ├── CI Visibility (CI/CD 可视化) │ │ └── Watchdog (AI 异常检测) │ └──────────────────────────────────────────────────────┘ 1....

为什么选择 Loki 传统 ELK（Elasticsearch + Logstash + Kibana）方案虽然功能强大，但存在两个核心痛点： 存储成本高：Elasticsearch 将日志全文索引化，每条日志的索引膨胀可达原始数据的 3-5 倍 运维复杂：ES 集群扩缩容、分片再平衡、索引生命周期管理复杂，生产集群维护成本高 Loki 由 Grafana Labs 开源，设计理念是"像 Prometheus 那样做日志"。它只对日志的标签（Labels）做索引，不对日志正文建索引，通过 LogQL 进行全文检索。这种设计使存储成本降低 10 倍以上。 本文基于 Loki 3.x，参考 Loki 官方文档 Loki vs ELK 对比 维度 ELK (Elasticsearch) Loki 索引方式 全文倒排索引 仅索引标签，正文不索引 存储成本 高（索引膨胀 3-5x） 低（标签索引 + 压缩正文） 查询语言 Lucene Query / KQL LogQL（类 PromQL 语法） 扩展性 水平扩展，分片复杂 微服务模式，组件独立扩展 适用场景 全文检索、复杂分析 日志监控、指标化查询、与 Grafana 联动 资源消耗 高（JVM，内存大） 低（Go 编写，内存友好） Loki 并非要完全替代 ES。如果你的核心需求是全文检索和复杂文本分析，ES 仍是更好的选择。但对于 SRE 日志监控、指标告警、排障定位这类场景，Loki + Grafana 的组合在成本和效率上优势明显。...