系统监控是保障服务稳定运行的基石。本文档从监控手段选择、指标体系构建、告警策略设计、告警治理、可观测性实践等多个维度,建立一套完整的监控告警规范,帮助团队实现"可观测、可预警、可恢复"的运维目标。
常见的系统监控机制有日志、指标和链路追踪三大支柱。这三种机制可以一起使用,但针对特定问题时,常常会选择其中一种而非为每一个问题都提供三种不同机制的监控。
在这三者之间做选择的时候,需要考虑以下几个维度:
指标是数值型的时间序列数据,用于描述系统状态的变化趋势。
适用场景:
优势:
劣势:
日志是离散的事件记录,包含丰富的上下文信息。
适用场景:
优势:
劣势:
链追踪采用分布式追踪技术,记录一次请求跨多个服务的完整调用链。
适用场景:
优势:
劣势:
| 维度 | 指标 | 日志 | 链追踪 |
|---|---|---|---|
| 自动恢复 | ✅ 易于配置阈值触发 | ❌ 需要复杂规则匹配 | ❌ 不适合 |
| 聚合分析 | ✅ 原生支持 | ⚠️ 需要预处理 | ✅ 跨度聚合 |
| 成本 | ✅ 低 | ❌ 高 | ⚠️ 取决于采样率 |
| 实时性 | ✅ 秒级 | ⚠️ 分钟级 | ✅ 准实时 |
| 详情追溯 | ❌ 有限 | ✅ 完整 | ✅ 请求级完整 |
| 调试定位 | ❌ 困难 | ✅ 方便 | ✅ 跨服务定位 |
实践建议: 采用"指标为主、日志为辅、追踪按需"的策略。用指标覆盖80%的监控场景,用日志覆盖15%需要深度分析的场景,用链追踪覆盖5%的跨服务性能调优场景。
一个完整的监控系统应该覆盖四个层次:
Google SRE 提出的四个黄金指标,适用于任何服务的监控:
延迟(Latency) —— 服务处理请求所需的时间
流量(Traffic) —— 服务承载的请求量
错误(Errors) —— 请求失败的比率
饱和度(Saturation) —— 服务资源的利用率
面向微服务的监控方法:
面向资源(基础设施)的监控方法:
| 方法 | 适用目标 | 关注指标 | 典型工具 |
|---|---|---|---|
| 黄金信号 | 整个服务 | 延迟、流量、错误、饱和度 | Prometheus + Grafana |
| RED | 微服务/API | 速率、错误、持续时间 | Prometheus + Grafana |
| USE | 基础设施/硬件 | 使用率、饱和度、错误 | Node Exporter |
| FOUR | 业务 | 业务量、业务延迟、业务错误、业务饱和度 | 业务埋点 |
采用统一的命名规范,便于查询和理解:
<服务名>_<组件>_<指标名>_<单位>_<聚合方式>
示例:
payment_api_http_requests_total —— 支付API HTTP请求总数payment_api_http_request_duration_seconds_bucket —— 请求延迟直方图分桶order_service_db_connection_pool_active —— 订单服务数据库连接池活跃连接数命名规则:
_seconds、_bytes、_total)| 层级 | 指标 | 示例 | 采集工具 |
|---|---|---|---|
| 基础设施 | CPU使用率 | node_cpu_seconds_total |
Node Exporter |
| 基础设施 | 内存使用率 | node_memory_MemAvailable_bytes |
Node Exporter |
| 基础设施 | 磁盘IO | node_disk_io_time_seconds_total |
Node Exporter |
| 中间件 | DB连接数 | mysql_global_status_threads_connected |
MySQL Exporter |
| 中间件 | 缓存命中率 | redis_hit_rate |
Redis Exporter |
| 中间件 | 队列堆积 | kafka_consumer_lag |
Kafka Exporter |
| 应用层 | QPS | rate(http_requests_total[5m]) |
Prometheus Client |
| 应用层 | P99延迟 | histogram_quantile(0.99, ...) |
Prometheus Client |
| 业务层 | 订单量 | business_orders_total |
业务埋点 |
| 业务层 | 转化率 | business_conversion_rate |
业务计算 |
告警应该分级管理,不同级别对应不同的响应策略:
| 级别 | 名称 | 响应时间 | 通知方式 | 示例 |
|---|---|---|---|---|
| P0 | 紧急(Critical) | 5分钟内 | 电话+短信+即时消息 | 核心服务完全不可用 |
| P1 | 严重(Major) | 15分钟内 | 短信+即时消息 | 核心服务性能严重下降 |
| P2 | 一般(Minor) | 30分钟内 | 即时消息 | 非核心服务异常 |
| P3 | 提示(Warning) | 1小时内 | 即时消息/邮件 | 资源使用率接近阈值 |
| P4 | 信息(Info) | 工作日处理 | 邮件/仪表盘 | 业务统计信息 |
适用于稳定基线的指标:
# 示例:CPU使用率超过80%持续5分钟触发告警
- alert: HighCPUUsage
expr: cpu_usage_percent > 80
for: 5m
severity: P1
适用场景:
适用于有周期性波动的指标:
# 示例:当前值超过历史同期均值3个标准差
- alert: AbnormalTraffic
expr: |
abs(
current_qps - avg_over_time(qps[7d])
) > 3 * stddev_over_time(qps[7d])
severity: P1
适用场景:
适用于检测趋势变化:
# 示例:当前5分钟错误率比上一周期增长超过50%
- alert: ErrorRateSpike
expr: |
(
rate(errors[5m]) - rate(errors[5m] offset 1h)
) / rate(errors[5m] offset 1h) > 0.5
severity: P0
复杂场景需要多个条件同时满足:
# 示例:CPU高且内存高且负载高
- alert: SystemOverload
expr: |
cpu_usage > 90
and memory_usage > 85
and load_avg_1m > 10
for: 3m
severity: P0
| 触发方式 | 优点 | 缺点 | 推荐场景 |
|---|---|---|---|
| 静态阈值 | 简单直观,配置成本低 | 不适用于周期性数据 | 资源类指标(CPU、磁盘) |
| 动态阈值 | 自适应周期波动,减少误报 | 配置复杂,冷启动需要历史数据 | 流量类指标(QPS) |
| 同比/环比 | 快速发现趋势突变 | 需要明确基线窗口 | 错误率、交易量 |
| 多条件组合 | 减少误报,提高精确度 | 可能漏报(条件太严格) | 复杂故障判定 |
| 预测性阈值 | 提前发现问题 | 模型复杂,维护成本高 | 容量规划、磁盘满预测 |
高优先级告警自动抑制低优先级相关告警:
# 示例:节点宕机时,抑制该节点上的所有其他告警
inhibit_rules:
- source_match:
severity: 'P0'
alertname: 'NodeDown'
target_match:
severity: 'P1|P2|P3'
equal: ['node']
将同类告警合并发送,避免告警风暴:
# 示例:按集群和告警名分组,5分钟内同类告警合并为一条
group_by: ['cluster', 'alertname']
group_wait: 30s
group_interval: 5m
计划内维护时静默相关告警:
标准化的告警通知内容应包含:
【P1告警】支付服务错误率异常
━━━━━━━━━━━━━━━━━━━━
告警名称: PaymentErrorRateHigh
触发时间: 2024-01-15 14:32:05
持续时间: 8分钟
当前状态:
错误率: 5.23% (阈值: 1%)
影响QPS: 1,234 req/s
受影响实例: payment-api-01, payment-api-03
最近变更:
14:25 发布版本 v2.3.1 (deploy-user)
14:20 数据库配置变更 (dba-user)
查看详情: https://grafana.example.com/d/payment-dashboard
处理手册: https://wiki.example.com/runbooks/payment-error
定期评估告警的有效性,重点关注三个指标:
告警信噪比 = 有效告警数 / 总告警数
平均恢复时间(MTTR) —— 从告警触发到问题解决的时间
告警覆盖度 —— 核心场景是否都有监控覆盖
告警疲劳是监控系统的最大敌人。治理策略:
1. 去重与合并
2. 阈值调优
3. 根因告警优先
4. 定期清理无效告警
当告警未被及时处理时,自动升级:
T+0分钟 → 首次通知(值班人员)
T+5分钟 → 未确认,通知+1级(团队负责人)
T+15分钟 → 未处理,通知+2级(部门负责人)
T+30分钟 → 未恢复,启动应急响应流程
每次P0/P1告警处理后,必须进行复盘:
| 指标 | 良好 | 需改进 | 危险 |
|---|---|---|---|
| 告警信噪比 | > 80% | 50% - 80% | < 50% |
| P0 MTTR | < 30min | 30min - 2h | > 2h |
| P1 MTTR | < 2h | 2h - 8h | > 8h |
| 每周人均告警数 | < 10 | 10 - 50 | > 50 |
| 告警覆盖率 | > 90% | 70% - 90% | < 70% |
指标采集与存储:
日志采集与分析:
告警管理:
可视化:
链路追踪:
| 特性 | Prometheus | VictoriaMetrics | Thanos |
|---|---|---|---|
| 部署复杂度 | ⭐⭐⭐ 低 | ⭐⭐⭐ 低 | ⭐⭐ 中等 |
| 长期存储 | ❌ 不支持 | ✅ 原生支持 | ✅ Sidecar模式 |
| 全局查询 | ❌ | ✅ | ✅ |
| 高基数处理 | ⚠️ 内存压力大 | ✅ 优化好 | ⚠️ 同Prometheus |
| 数据压缩比 | 1x | 3-5x | 1x |
| 适用规模 | 单机 < 100万序列 | 大规模 > 100万 | 多集群聚合 |
┌─────────────────────────────────────────────────────┐
│ 应用服务层 │
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ │
│ │ Service │ │ Service │ │ Service │ │
│ │ A │ │ B │ │ C │ │
│ └────┬────┘ └────┬────┘ └────┬────┘ │
│ │ │ │ │
│ ▼ ▼ ▼ │
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ │
│ │Micrometer│ │Micrometer│ │Micrometer│ │
│ │/Prometheus│ │/Prometheus│ │/Prometheus│ │
│ └────┬────┘ └────┬────┘ └────┬────┘ │
└───────┼────────────┼────────────┼─────────────────────┘
│ │ │
▼ ▼ ▼
┌─────────────────────────────────────────────────────┐
│ 采集与存储层 │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ Prometheus │ │ Loki │ │ Jaeger │ │
│ │ (Metrics) │ │ (Logs) │ │ (Traces) │ │
│ └──────┬──────┘ └──────┬──────┘ └──────┬──────┘ │
└─────────┼────────────────┼────────────────┼────────┘
│ │ │
▼ ▼ ▼
┌─────────────────────────────────────────────────────┐
│ 展示与告警层 │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ Grafana │ │ Alertmanager │ │ PagerDuty │ │
│ │ (Dashboard) │ │ (Routing) │ │ (On-Call) │ │
│ └─────────────┘ └─────────────┘ └─────────────┘ │
└─────────────────────────────────────────────────────┘
现代可观测性体系要求三大支柱之间能够相互跳转:
在请求入口生成 TraceID,贯穿所有服务,同时写入日志上下文:
# 日志中携带TraceID
2024-01-15 14:32:05.123 ERROR [payment-api] [trace_id=abc123, span_id=def456]
交易ID=TXN987654 处理失败: 余额不足
# 可通过TraceID在Jaeger中查看完整调用链
# 可一键从Grafana面板跳转到对应Trace
将指标、日志、链追踪统一关联后,故障排查效率大幅提升:
| 场景 | 传统方法 | 统一可观测性 |
|---|---|---|
| 支付失败排查 | 逐个登录服务器看日志 | Grafana -> 找到错误率异常 -> TraceID -> Jaeger完整链路 -> 点Trace跳转到对应日志 |
| 慢查询定位 | 猜哪个服务慢,逐个排查 | 延迟指标面板 -> P99高的服务 -> Trace查看慢Span -> 直接定位到SQL |
| 新版本上线异常 | 逐个看面板 + 翻日志 | 发布后自动看变化指标 -> 跳转到变化最大的Trace -> 确认根因 |
每接入一个新服务,需完成以下配置:
新服务上线前必须完成:
# 规范示例
- alert: ServiceErrorRateHigh
# 1. 清晰的告警名称,描述问题现象
alertname: ServiceErrorRateHigh
# 2. 表达式注释说明
# 过去5分钟错误率超过1%,且QPS>10(避免低流量误报)
expr: |
(
sum(rate(http_requests_total{status=~"5.."}[5m]))
/ sum(rate(http_requests_total[5m]))
) > 0.01
and sum(rate(http_requests_total[5m])) > 10
# 3. 持续时间,避免瞬时波动误报
for: 5m
# 4. 严重级别
severity: P1
# 5. 标签,用于路由和分组
labels:
team: payment
service: payment-api
# 6. 注释,提供上下文信息
annotations:
summary: "支付服务错误率异常"
description: "错误率 {{ $value | humanizePercentage }},超过阈值 1%"
runbook_url: "https://wiki.example.com/runbooks/payment-error"
dashboard_url: "https://grafana.example.com/d/payment"
| 数据类型 | 精度 | 保留时长 | 说明 |
|---|---|---|---|
| 原始指标 | 15秒 | 15天 | 用于详细排查 |
| 聚合指标(1分钟) | 1分钟 | 30天 | 日常监控 |
| 聚合指标(5分钟) | 5分钟 | 90天 | 趋势分析 |
| 聚合指标(1小时) | 1小时 | 1年 | 容量规划 |
| 日志 | 原始 | 7天 | 热存储 |
| 日志 | 原始 | 90天 | 冷存储(压缩) |
| 告警历史 | - | 1年 | 用于分析和复盘 |
值班安排
响应流程
交接规范
| 告警名 | 表达式 | 级别 | 说明 |
|---|---|---|---|
| InstanceDown | up{job="...} == 0 |
P0 | 实例宕机 |
| HighErrorRate | rate(5xx[5m]) / rate(requests[5m]) > 0.01 |
P1 | 错误率超1% |
| HighLatency | histogram_quantile(0.99, ...) > 1 |
P1 | P99延迟超1秒 |
| DiskFull | disk_free_percent < 0.1 |
P2 | 磁盘剩余不足10% |
| CertificateExpiry | cert_expiry_days < 30 |
P2 | SSL证书30天内到期 |
| QueueBuildUp | consumer_lag > 10000 |
P1 | 消息堆积超1万 |
| 反模式 | 表现 | 后果 | 改进方案 |
|---|---|---|---|
| 监控盲区 | 只监控基础设施,不监控业务 | 业务出问题无感知 | 建立业务层监控 |
| 过度监控 | 采集过多无用指标 | 存储成本高、查询慢 | 聚焦黄金指标 |
| 静态阈值陷阱 | 一套阈值适用所有环境 | 测试环境告警不断 | 按环境设置阈值 |
| 告警疲劳 | 每天收到上百条告警 | 团队麻木,忽略告警 | 治理告警,提升信噪比 |
| 无行动告警 | 告警触发但无人处理 | 告警失去意义 | 每个告警必须有处理手册 |
| 事后监控 | 出问题后才加监控 | 重复踩坑 | 服务上线前完成监控接入 |
| 反模式 | 表现 | 后果 | 改进方案 |
|---|---|---|---|
| 告警风暴 | 故障时收到数百条告警 | 无法定位根因 | 配置告警分组和抑制 |
| 无分级告警 | 所有告警同等紧急 | 真正紧急的问题被淹没 | 建立告警分级体系 |
| 通知渠道混乱 | 邮件、短信、微信混用 | 信息分散,遗漏处理 | 按级别统一通知渠道 |
| 无上下文告警 | 只通知"CPU高" | 不知道影响范围 | 告警包含影响面、最近变更 |
| 无恢复通知 | 问题恢复不通知 | 反复检查确认 | 配置告警恢复通知 |
支付系统对稳定性和准确性要求极高,监控需特别关注:
账务系统监控需要保证数据一致性:
风控系统监控关注规则执行和决策质量:
| 现象 | 第一步检查 | 第二步检查 | 常见根因 |
|---|---|---|---|
| 接口超时 | Grafana查看延迟P99 | Jaeger查看慢Span | 数据库慢查询/外部调用 |
| 错误率飙升 | 查看5xx/4xx分布 | 查看最近变更记录 | 代码发布/配置变更 |
| 服务无响应 | 查看CPU/内存使用率 | 查看线程池/连接池 | 死锁/内存泄漏 |
| 消息延迟 | 查看consumer lag | 查看消费速率 | 下游处理慢/消息积压 |
| 磁盘告警 | 查看磁盘使用趋势 | 定位大文件目录 | 日志/备份未清理 |
| 支付失败 | 查看交易成功率 | 查看渠道返回码 | 渠道可用性/余额不足 |
监控告警是系统可观测性的核心组成部分。建立一套有效的监控告警体系需要:
核心原则:好的监控系统不是告警最多的,而是最能帮助团队快速恢复服务的。