按现象排障#
从用户遇到的现象出发，找到失败的一跳，再进入专题。命令默认只读；涉及恢复的命令另列前置条件。使用 Bash，先替换示例域名、命名空间和资源名。
| 现象 | 从这里开始 | 排查顺序 |
|---|---|---|
| 网站打不开、超时、502/503/504、浏览器报错 | 网站访问失败 | 域名解析 → 连接 → 证书 → 入口 → 后端 |
| Pod Pending、拉镜像失败、反复重启、未就绪 | Pod 启动失败 | 事件 → 调度 → 镜像 → 进程 → 探针 |
| 应用连接数据库超时、认证失败、连接池耗尽 | 数据库连接失败 | 应用所在网络 → 解析/路由 → 端口 → 加密/认证 → 池/查询 |
| 发布后错误率升高、延迟变大、数据不一致 | 发布后异常 | 变更范围 → 新旧版本对比 → 停止扩大 → 恢复 → 业务验收 |
开始前记录四件事#
- 影响：首次发生时间（含时区）、失败比例、地域、租户和业务路径；不要只写“服务挂了”。
- 环境：账号/项目、区域、集群 context、命名空间；对比同环境的正常请求。
- 证据：退出码、状态码、脱敏请求标识、近期变更；日志与事件可能过期，先保存必要片段。
- 恢复标准：关键业务成功、错误率与延迟回到约定阈值、持续观察覆盖告警窗口；进程启动不等于恢复。
不要把凭证、Cookie、连接串或完整业务正文贴入工单。检查失败时保留退出码；交互式排障不要启用遇错立即退出的 set -e。
需要继续下钻#
| 方向 | 已有专题 |
|---|---|
| Linux 路由、回程、策略路由 | 路由排障 |
| HTTP 状态、代理超时、请求生命周期 | HTTP 排障 |
| 节点、存储、服务网络 | Kubernetes 排障、网络 |
| AWS 三层网络与请求路径 | VPC 流量路径、三层子网实践 |
| GCP 私网、日志与监控 | 私网连接、日志、监控 |
| 告警与故障演练 | SRE 企业实践 |
这些页面是现场检查入口；可控故障注入、基础设施搭建和完整业务验收沿用链接中的企业实践，不在生产直接制造故障。