告警 5000 条没人看：可观测性体系从碎片化到统一的 6 个架构决策

Phase 1 (第1-2周)：Prometheus + Grafana + Node Exporter + cAdvisor
                   → 覆盖基础资源监控和应用指标

Phase 2 (第3-4周)：Loki + Promtail + 结构化日志改造
                   → 覆盖日志搜索和根因定位

Phase 3 (第5-6周)：Tempo/Jaeger + OpenTelemetry SDK
                   → 覆盖分布式链路追踪

Phase 4 (第7-8周)：Grafana 统一面板 + 关联配置
                   → Metrics↔Logs↔Traces 互跳

# Metrics：自建 Prometheus（成本低、控制力强）
# - 基础设施指标：Node Exporter + cAdvisor
# - 应用指标：OpenTelemetry SDK → Prometheus
# - 长期存储：Thanos 或 VictoriaMetrics（比 Datadog 便宜 10 倍）

# Logs：Loki 自建（轻量、够用）
# - 采集：Promtail DaemonSet
# - 存储：本地 SSD 7 天 + S3 30 天
# - 查询：Grafana LogQL

# Traces：Tempo 自建 or Grafana Cloud（量小可托管）
# - 采集：OpenTelemetry Collector
# - 采样：动态采样，生产环境 1-5%
# - 存储：S3 + 本地缓存

# 错误示范：每个用户一个时间序列
http_requests_total{
  method="GET",
  path="/api/order",
  user_id="12345"  # ← 这就是高基数标签
} 1

# 基数 = 标签值的组合数
http_requests_total{method="GET", path="/api/order", status="200"}
# 如果 method 有 5 种、path 有 20 种、status 有 10 种
# 基数 = 5 × 20 × 10 = 1000 条时间序列

scrape_configs:
  - job_name: 'app'
    static_configs:
      - targets: ['app:8080']
    metric_relabel_configs:
      # 丢弃 user_id 标签
      - action: labeldrop
        regex: 'user_id|request_id|session_id|trace_id'
      # 替换高基数 path 为低基数分组
      - source_labels: [path]
        regex: '/api/users/(\d+)'
        target_label: path
        replacement: '/api/users/:id'
      - source_labels: [path]
        regex: '/api/orders/([a-f0-9-]+)'
        target_label: path
        replacement: '/api/orders/:id'

groups:
  - name: preaggregation
    rules:
      # 按服务聚合请求率，减少查询时的计算量
      - record: job:http_requests:rate5m
        expr: sum by (job, status) (rate(http_requests_total[5m]))
      
      # 按服务聚合 P99 延迟
      - record: job:http_request_duration_seconds:p99
        expr: histogram_quantile(0.99, sum by (job, le) (rate(http_request_duration_seconds_bucket[5m])))
      
      # 错误率
      - record: job:http_error_rate:ratio
        expr: |
          sum by (job) (rate(http_requests_total{status=~"5.."}[5m]))
          /
          sum by (job) (rate(http_requests_total[5m]))          

# 查看基数最高的 10 个指标
curl -s http://prometheus:9090/api/v1/status/tsdb | \
  python3 -c "
import json, sys
data = json.load(sys.stdin)
series = data['data']['seriesCountByMetricName']
for name, count in sorted(series.items(), key=lambda x: -x[1])[:10]:
    print(f'{count:>10} {name}')
"

┌─────────────────────────────────────────────────────────────┐
│                    日志数据流                                 │
│                                                              │
│  应用日志 → Promtail/Fluent Bit → Loki/ELK                   │
│                                      │                       │
│                    ┌─────────────────┼───────────────┐       │
│                    │                 │               │       │
│                ┌───▼───┐     ┌──────▼──────┐  ┌────▼────┐  │
│                │ Hot   │     │   Warm      │  │ Cold    │  │
│                │ (热)  │     │   (温)      │  │ (冷)    │  │
│                │       │     │             │  │         │  │
│                │ 3 天  │     │   7-30 天   │  │ 90 天+  │  │
│                │ SSD  │     │  HDD/压缩   │  │ S3/OSS  │  │
│                │ 快查询│     │  慢查询     │  │ 按需恢复 │  │
│                └───────┘     └─────────────┘  └─────────┘  │
│                                                              │
│  查询优先级：Hot → Warm → Cold（逐层降级查询）                 │
└─────────────────────────────────────────────────────────────┘

# Loki 配置：分层存储
storage_config:
  boltdb_shipper:
    active_index_directory: /loki/index
    cache_location: /loki/cache
  
  # 热数据：本地 SSD
  filesystem:
    directory: /loki/data
  
  # 冷数据：S3
  aws:
    s3: s3://observability-logs/cold/
    endpoint: s3.cn-north-1.amazonaws.com

# 保留策略
limits_config:
  retention_period: 90d  # 总保留 90 天
  max_query_series: 1000  # 限制查询复杂度

compactor:
  working_directory: /loki/compactor
  shared_store: s3
  retention_enabled: true
  retention_delete_delay: 2h
  retention_delete_worker_count: 50

# 差：非结构化日志
logging.info(f"User 12345 placed order 67890, amount=99.50, method=alipay")
# 查询：{app="order"} |= "order" |= "12345"  → 全文扫描

# 好：结构化日志
logging.info({
    "event": "order_placed",
    "user_id": "12345",  # 日志内容里的 user_id 没问题，不是 Prometheus 标签
    "order_id": "67890",
    "amount": 99.50,
    "payment_method": "alipay"
})
# 查询：{app="order"} | json | event="order_placed"  → 标签过滤

# Promtail 管道配置：日志级别采样
pipeline_stages:
  - json:
      expressions:
        level: level
        message: msg
  
  # Drop DEBUG 日志
  - drop:
      source: level
      expression: "DEBUG"
  
  # 采样 INFO 日志（保留 10%）
  - sampling:
      rate: 0.1
      source: level
      expression: "INFO"
  
  # WARN 和 ERROR 全保留
  # （不在采样规则中的默认全保留）

# 只保留必要字段
pipeline_stages:
  - json:
      expressions:
        timestamp: timestamp
        level: level
        message: msg
        service: service_name
        trace_id: trace_id
        error: error
  # 其他字段全部丢弃

// OpenTelemetry SDK 配置：1% 采样率
SdkTracerProvider.builder()
    .setSampler(Sampler.traceIdRatioBased(0.01))  // 1% 采样
    .build();

# OpenTelemetry Collector 配置：尾部采样
processors:
  tail_sampling:
    decision_wait: 30s  # 等待 30 秒收集完整 Trace
    num_traces: 50000   # 内存中保留的 Trace 数
    
    policies:
      # 采样所有错误请求
      - name: errors
        type: status_code
        status_code:
          status_codes: [ERROR]
      
      # 采样慢请求（>2s）
      - name: slow
        type: latency
        latency:
          threshold_ms: 2000
      
      # 正常请求采样 1%
      - name: baseline
        type: probabilistic
        probabilistic:
          sampling_percentage: 1

processors:
  tail_sampling:
    decision_wait: 30s
    num_traces: 50000
    
    policies:
      - name: errors
        type: status_code
        status_code:
          status_codes: [ERROR]
      
      - name: dynamic_rate
        type: probabilistic
        probabilistic:
          # 通过环境变量动态注入采样率
          # 正常时 1%，告警时通过 API 调整为 100%
          sampling_percentage: ${env:TRACE_SAMPLING_RATE}

import os
import requests
from prometheus_client import CollectorRegistry

def adjust_sampling_rate():
    """根据错误率动态调整 Trace 采样率"""
    # 查询当前 5 分钟错误率
    query = 'sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m]))'
    resp = requests.get(
        f'http://prometheus:9090/api/v1/query',
        params={'query': query}
    ).json()
    
    error_rate = float(resp['data']['result'][0]['value'][1])
    
    if error_rate > 0.05:  # 错误率 > 5%
        rate = 100
    elif error_rate > 0.01:  # 错误率 > 1%
        rate = 50
    else:
        rate = 1  # 正常 1%
    
    # 更新 Collector 配置（通过 API 或环境变量）
    os.environ['TRACE_SAMPLING_RATE'] = str(rate)
    print(f"Error rate: {error_rate:.2%}, sampling rate: {rate}%")

if __name__ == '__main__':
    adjust_sampling_rate()

┌──────────────────────────────────────────────────────────┐
│                     仪表盘分层架构                         │
│                                                           │
│  ┌─────────────────┐                                      │
│  │  L1: 执行层      │  目标受众：值班 SRE                   │
│  │  (实时告警面板)   │  关注：当前有没有问题？               │
│  │  刷新：10s-30s   │  面板数：5-8 个                      │
│  │  数据：实时指标   │  布局：单屏可览全貌                   │
│  └────────┬────────┘                                      │
│           │                                               │
│  ┌────────▼────────┐                                      │
│  │  L2: 诊断层      │  目标受众：开发 + SRE                 │
│  │  (服务排障面板)   │  关注：哪个服务出了问题？为什么？     │
│  │  刷新：1m-5m     │  面板数：15-20 个                    │
│  │  数据：指标+日志  │  布局：下钻式，从全局到单服务         │
│  └────────┬────────┘                                      │
│           │                                               │
│  ┌────────▼────────┐                                      │
│  │  L3: 决策层     │  目标受众：技术管理 + 产品              │
│  │  (SLO 面板)     │  关注：服务质量达标了吗？             │
│  │  刷新：1h-1d    │  面板数：8-12 个                     │
│  │  数据：SLO 指标  │  布局：业务视角，非技术细节           │
│  └─────────────────┘                                      │
└──────────────────────────────────────────────────────────┘

// L1 Dashboard 关键面板
// 1. 全局健康状态（绿灯/红灯）
// 2. 核心服务错误率（P99 + SLO 线）
// 3. 核心服务延迟（P50/P99）
// 4. 告警计数（按严重度分组）
// 5. K8s Pod 状态（Running/Pending/Failed）
// 6. 数据库连接池使用率
// 7. 最近 1 小时变更事件
// 8. On-Call 值班信息

// 全局健康状态：核心服务 SLO 达标率
sum by (service) (
  rate(http_requests_total{status!~"5..", service=~"order|payment|user"}[5m])
)
/
sum by (service) (
  rate(http_requests_total{service=~"order|payment|user"}[5m])
)

// 告警计数
count by (severity) (
  ALERTS{alertstate="firing"}
)

# Grafana Dashboard Links 配置
links:
  # 从指标面板跳转到日志
  - title: "查看日志"
    type: link
    url: /explore?orgId=1&left={"datasource":"Loki","queries":[{"expr":"{service=\"$service\"} |= \"ERROR\""}]}
    
  # 从指标面板跳转到 Trace
  - title: "查看链路"
    type: link
    url: /explore?orgId=1&left={"datasource":"Tempo","queries":[{"service_name":"$service","operation":"$operation"}]}

// SLO 达标率（30 天滑动窗口）
sum(rate(http_requests_total{status!~"5..", service="order"}[30d]))
/
sum(rate(http_requests_total{service="order"}[30d]))

// 错误预算消耗进度
1 - (
  sum(rate(http_requests_total{status!~"5..", service="order"}[30d]))
  /
  sum(rate(http_requests_total{service="order"}[30d]))
)
/
(1 - 0.999)  // SLO 目标 99.9%