指标、仪表板与 SLI/SLO

收集指标只是第一步。要运行可靠的系统，您需要将数字转化为仪表板和能够反映真实用户体验的服务级别目标。

Google SRE 建议监控任何服务的四个信号：延迟、流量、错误和饱和度。它们涵盖了大多数面向用户的问题。

常见的指标形态包括：计数器只会上升（已处理的请求数），仪表会升降（正在使用的内存），而直方图会将数值分桶（请求持续时间）。

Prometheus 等时间序列数据库使用查询语言来切分指标。这里我们计算五分钟内每秒的请求速率。

Grafana 等工具会将查询转换为面板。优秀的仪表板能让您一眼回答一个问题——服务现在是否运行正常？

• 顶行：黄金信号
• 下方：详细分析面板
• 统一的时间范围

服务级别指标是反映用户满意度的测量值，例如请求成功且快速完成的比例。

服务级别目标是针对某个时间窗口内 SLI 设定的目标——例如 30 天内 99.9% 的请求成功。它定义了什么才算足够好。

SLA是对客户作出的合同承诺，通常附带违约惩罚。SLO 是您内部的工程目标，通常要求更严格。

如果您的 SLO 是 99.9%，剩余的 0.1% 就是您的错误预算——也就是可以承受的故障比例。您可以将它用于有风险的部署；预算用尽后，就应放慢节奏并进行稳定化。

应针对用户感受到的问题（错误率高、响应缓慢）通知人员，而不是对每一次 CPU 波动都发出告警。基于症状的告警可以减少噪声和疲劳。

仪表板太多和没有仪表板一样糟糕。请保留少量可信且有负责人维护、与 SLO 相关联的仪表板，而不是保留几十个过时的仪表板。

SLO 与错误预算有什么关系？

现在您可以让监控真正发挥作用：

• 关注四个黄金信号
• 理解计数器、仪表和直方图；使用 rate() 查询
• 定义SLI（测量值）和SLO（目标）
• 错误预算指导部署节奏；根据症状发出告警

可靠性不再只是寄希望于运气，而是可以被测量和引导的目标。