本文缩写(英文全称与中文含义)
缩写 英文全称/名称 中文含义
CPU Central Processing Unit 中央处理器
DB Database 数据库
QPS Queries Per Second 每秒查询数
SLI Service Level Indicator 服务等级指标
SLO Service Level Objective 服务等级目标
SRE Site Reliability Engineering 站点可靠性工程

SRE#

遇到故障先进入 按现象排障:网站访问、Pod 启动、数据库连接、发布后异常。

高影响操作前使用 升级、迁移与切换:执行边界 记录放行条件、停止线与恢复证据。

Important Points#

SRE 的判断以用户能否完成业务为中心;进程存活、CPU 正常或探针 200 都不能单独证明服务恢复。

SRE 最关心的不是“机器有没有问题”,而是:
    用户是否能访问
    请求是否足够快
    错误率是否可接受
    流量是否正常
    资源是否快满
    队列是否堆积
    依赖是否健康
    发布是否引入故障
    SLO 是否正在被消耗
用 Prometheus 落地时,SRE 需要掌握:
    1. 关键指标应该从哪里收集
    2. exporter / application metrics 应该暴露什么
    3. PromQL 如何计算服务健康度
    4. alert rule 应该如何表达用户影响
    5. dashboard 应该按什么维度展示

SRE Metrics Map#

Area What To Watch Prometheus Source Example Metrics
Availability 服务是否可用 application metrics / blackbox exporter up, probe_success, http_requests_total
Latency 请求是否慢 application histogram http_request_duration_seconds_bucket
Traffic 流量是否异常 application counter http_requests_total
Errors 错误率是否升高 application counter http_requests_total{status=~"5.."}
Saturation 资源是否饱和 node exporter / cAdvisor / app metrics CPU, memory, disk, connection pool
Queue 是否堆积 app metrics / queue exporter queue_depth, queue_consumer_lag
Dependency 依赖是否异常 app metrics / exporter DB latency, cache hit rate, external errors
Capacity 容量是否足够 node exporter / app metrics peak QPS, headroom, disk forecast
SLO 用户体验是否达标 recording rules / PromQL availability ratio, burn rate
先读:
    Hands-on SRE With Prometheus

然后再补:
    SLI / SLO
    Alertmanager
    VictoriaMetrics / vmalert

Golden Rule#

每个 SRE 指标都应该能回答:
    这个指标坏了,用户会受到什么影响?
    谁负责处理?
    dashboard 在哪里?
    runbook 在哪里?
    PromQL 怎么查?

搜索文档

输入关键词,搜索所有文档。

↑ ↓ 选择 · Enter 打开 · Esc 关闭