来源快照｜高频故障排查剧本｜现象→证据→止损→根因→验证
原图文本快照；学习计划、演练和项目收录不表示已经完成或当前推荐。
- 高频故障排查剧本｜现象→证据→止损→根因→验证 ^xm-9cfe1d1ecf9c463d90d8c3607b
- 统一原则 ^xm-30b4f7caafbd4736b3f6cb79b4
- 先确认影响再看资源
- 先止损再深挖
- 事实与假设分开
- 一次只验证一个主要假设
- 恢复后检查积压与一致性
- 将结论沉淀为监控/测试/自动化
- CPU 高 ^xm-2e8a905281e84f0d8d3cb4fd9e
- 建议顺序 ^xm-d3bf015d0f394f1ab7dd835840
- 确认用户影响与 load
- 区分 user/system/iowait/steal
- 定位进程/线程
- perf/profile
- 限流/扩容/回滚
- 关键证据 ^xm-9fcd0de24e7a4ba5a5e68ae3e9
- top/pidstat/perf
- 容器 throttling
- 最近发布
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-d3bf015d0f394f1ab7dd835840
- 内存高/OOM ^xm-034fd7c2292445688523ad8a4d
- 建议顺序 ^xm-372b5248946a40d8b226e85a66
- 确认系统或 cgroup OOM
- RSS/PSS/cache/swap
- 进程/heap/dump
- limit/request
- 止损与泄漏修复
- 关键证据 ^xm-d889ff5840914451a8ebddaefc
- dmesg/memory.events
- free/vmstat/smem
- 应用 heap
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-372b5248946a40d8b226e85a66
- 磁盘满 ^xm-ca065795a8e54dd99108954076
- 建议顺序 ^xm-b7e778a4803f41da8b879b827f
- df -h/df -i
- du 与 deleted-open
- 日志/临时/数据
- 扩容/清理
- 保留策略
- 关键证据 ^xm-f1582bdcd15546febc00feedc2
- lsof +L1
- inode
- 备份与数据安全
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-b7e778a4803f41da8b879b827f
- I/O 延迟 ^xm-129f0f4532934859a2e9dbaffd
- 建议顺序 ^xm-42ff5274004f477cbb993a07db
- iostat await/util/queue
- 定位进程
- 文件系统/块/存储后端
- recovery/backup 流量
- 隔离与限速
- 关键证据 ^xm-56cdaabb66f24318bd38533a19
- iostat/pidstat
- 内核错误
- 存储监控
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-42ff5274004f477cbb993a07db
- 网络不通 ^xm-c8480f0781f84cd0bda987353b
- 建议顺序 ^xm-9c61088fa4dd47ff8fe2c52f76
- DNS
- TCP connect
- route/ARP
- firewall/NAT
- 双端抓包
- 关键证据 ^xm-b1f4e66a834a4abdbbffe25aa0
- dig/ss/ip
- tcpdump
- mtr
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-9c61088fa4dd47ff8fe2c52f76
- HTTP 5xx ^xm-e2a205f953e34e378134c233ac
- 建议顺序 ^xm-dfc4e0d7caf744c59a4ed17a5c
- 按状态码分层
- 入口日志
- 上游/依赖
- trace
- 回滚/降级
- 关键证据 ^xm-e0b2c139a1b94da9b59e8f5334
- request id
- 502/503/504
- 最近变更
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-dfc4e0d7caf744c59a4ed17a5c
- DNS 故障 ^xm-0ed4372aa9cc4c8ea52e9a5f71
- 建议顺序 ^xm-55e842ebb07b4fb9af93eeaf45
- 客户端配置
- 缓存/RCODE
- 递归/权威
- 网络/防火墙
- TTL 恢复
- 关键证据 ^xm-f7f870115c1b422b81e7361fd7
- dig +trace
- CoreDNS
- negative cache
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-55e842ebb07b4fb9af93eeaf45
- 数据库慢 ^xm-0b291a0750c444c9a55292388a
- 建议顺序 ^xm-ab008c7330a04c3fbc59019eb3
- 影响 SQL/时间
- 等待/锁
- 执行计划
- 资源/缓存
- 变更与数据分布
- 关键证据 ^xm-5a3a88fdb1704f8d9783f4ab5e
- slow log
- locks
- EXPLAIN
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-ab008c7330a04c3fbc59019eb3
- 复制延迟 ^xm-00bf4c1525944ad083c2bbe583
- 建议顺序 ^xm-a3d0fd070f7b4e18b41de8a38a
- 确认 RPO 风险
- 网络/I/O/SQL 线程
- 大事务
- 容量
- 切换决策
- 关键证据 ^xm-d1da7217a805418ca8ef8aea75
- lag
- relay/WAL
- data consistency
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-a3d0fd070f7b4e18b41de8a38a
- Redis 延迟 ^xm-8569ca7a4d1640e99d7c3efe53
- 建议顺序 ^xm-f9aa654607ee403e9cfd8ea256
- SLOWLOG/LATENCY
- big/hot key
- fork/persistence
- 网络/CPU
- 拆分与限流
- 关键证据 ^xm-5711e11f2c574bc1bb360841b3
- INFO
- MEMORY
- 客户端超时
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-f9aa654607ee403e9cfd8ea256
- Pod Pending ^xm-f5082a761aaf48b1b62da19efb
- 建议顺序 ^xm-b40a0b2c041d49469ceb14216b
- events
- requests/allocatable
- taint/affinity
- PVC
- quota
- 关键证据 ^xm-53954ef2f35f4f95ad0ed81298
- kubectl describe
- scheduler
- autoscaler
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-b40a0b2c041d49469ceb14216b
- CrashLoopBackOff ^xm-e21d8799d7e1477894923c43be
- 建议顺序 ^xm-fc6c192cf4764788ad99e2bbf1
- container state
- previous logs
- command/config/secret
- probe
- 依赖
- 关键证据 ^xm-9a8f30062e7945648a67017117
- describe/logs -p
- exit code
- debug container
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-fc6c192cf4764788ad99e2bbf1
- OOMKilled ^xm-cdfc970c02f441378f3c6da091
- 建议顺序 ^xm-cd737ec550b24f6d8b2698dd26
- memory limit/events
- working set
- heap/off-heap
- traffic/版本
- limit/修复
- 关键证据 ^xm-95b942b8791c4fd5b07b298169
- cgroup
- DCGM/heap
- requests/limits
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-cd737ec550b24f6d8b2698dd26
- ImagePullBackOff ^xm-9fe7f320f86f4f5c9d600fc81d
- 建议顺序 ^xm-ef7b2508b0f3464f8e0c5ee073
- image/ref
- registry DNS/TLS
- credential
- rate limit
- runtime
- 关键证据 ^xm-f56ce68c01d84f9085d4083607
- events
- crictl pull
- imagePullSecret
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-ef7b2508b0f3464f8e0c5ee073
- Service 不通 ^xm-d8b8af14120f4c619d6c19fd73
- 建议顺序 ^xm-e0d144b7818448a8be7c614132
- selector/EndpointSlice
- targetPort
- readiness
- kube-proxy/CNI
- NetworkPolicy
- 关键证据 ^xm-debd6573236c47bca84a2b7bf0
- kubectl get ep
- curl in pod
- packet path
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-e0d144b7818448a8be7c614132
- Ingress 404/502/504 ^xm-0d8265e3c3a64cfda32938a8c2
- 建议顺序 ^xm-eafcccff4ba9439d9445aecc14
- route/host/path
- backend endpoint
- TLS
- timeout
- controller logs
- 关键证据 ^xm-5a6f4492895a402f8adfa538e3
- curl —resolve
- ingress config
- upstream timing
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-eafcccff4ba9439d9445aecc14
- PVC Pending/挂载失败 ^xm-144a0de6512c4034aa88331f37
- 建议顺序 ^xm-081350a8c9594fedae1002aa2c
- StorageClass
- provisioner
- topology
- VolumeAttachment
- CSI/node/backend
- 关键证据 ^xm-648a28bc6857453594caf581af
- describe pvc/pod
- CSI logs
- mount
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-081350a8c9594fedae1002aa2c
- 节点 NotReady ^xm-209df49b15e7486ab57a86bdc3
- 建议顺序 ^xm-507cc927bc6d4828a580471c78
- conditions/events
- kubelet/runtime
- disk/memory/PID pressure
- network
- cordon/drain
- 关键证据 ^xm-ef9ded48ae6549e5a6c740c5e0
- journalctl kubelet
- crictl
- node leases
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-507cc927bc6d4828a580471c78
- Prometheus 无数据 ^xm-58ec48d71df34f07a138fce6ce
- 建议顺序 ^xm-a28646a247c249d4b3c8e939b1
- target discovery
- scrape
- relabel
- ingest
- query
- 关键证据 ^xm-0180c59748244ed0ab6ad76247
- up
- targets
- scrape metrics
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-a28646a247c249d4b3c8e939b1
- 日志缺失 ^xm-545a584d4af949d3b1aaa2186e
- 建议顺序 ^xm-1bb5e8fd3a3d481785c1e5d060
- 应用 stdout/file
- agent discovery
- parse/drop
- ingest/backpressure
- retention/query
- 关键证据 ^xm-1bf2e47a90b34dbb85e390310d
- agent metrics/logs
- label selector
- queue
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-1bb5e8fd3a3d481785c1e5d060
- Trace 断链 ^xm-0b0476c3f4f14ca89a87436fcb
- 建议顺序 ^xm-93c8746781034891ba6bf57506
- propagation
- SDK/agent
- sampling
- async boundaries
- backend
- 关键证据 ^xm-f8bc88ed33254952859c996031
- trace headers
- span parent
- Collector
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-93c8746781034891ba6bf57506
- 告警风暴 ^xm-db91feb0949c4073a333ee6cd9
- 建议顺序 ^xm-91a17aab8f9249c294911026c6
- 确认共同原因
- group/dedup
- dependency inhibition
- maintenance/change
- 保护通知通道
- 关键证据 ^xm-8396c31a0cc447958a88d70f98
- Alertmanager
- Keep
- event timeline
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-91a17aab8f9249c294911026c6
- 证书过期 ^xm-dfc3c3ef077b4cc5b8f3546509
- 建议顺序 ^xm-a65503ba77af45ffa8fa77fca0
- 影响域
- 链/SAN/time
- 签发/续期
- 轮换
- 缓存/重载
- 关键证据 ^xm-5aad9fec5dd14744bb7866e379
- openssl
- cert-manager
- expiry alert
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-a65503ba77af45ffa8fa77fca0
- GPU 不可用 ^xm-3deba3dc0c6240b2a8c9cec47d
- 建议顺序 ^xm-c6ad995550534fe1aa553daa45
- nvidia-smi
- driver/module
- runtime/device plugin
- scheduler resource
- Xid/健康
- 关键证据 ^xm-3ee01ce777dd47e1a578a62974
- GPU Operator
- DCGM
- node quarantine
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-c6ad995550534fe1aa553daa45
- LLM 服务高延迟 ^xm-78331935c86b4d03a5420d657a
- 建议顺序 ^xm-fc86528d49a246b18e09ce991a
- queue
- TTFT/TPOT
- prompt/output length
- batch/KV
- GPU/模型版本
- 关键证据 ^xm-3080bcd739be48acada38b654a
- vLLM metrics
- GPU memory/util
- trace
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-fc86528d49a246b18e09ce991a
- AIOps Agent 错误处置 ^xm-7acdaae3f12f438d9b5e2a0dce
- 建议顺序 ^xm-785676198de448c294f904ee40
- 立即停止工具权限
- 保存轨迹
- 回滚动作
- 验证影响
- 修复策略与评估集
- 关键证据 ^xm-4b849c65e02c471ea7a31eb080
- tool audit
- approval
- sandbox/budget
- 完成条件：影响恢复、根因证据成立、修复无回归、行动项有人负责。
- 建议顺序 ^xm-785676198de448c294f904ee40
- 统一原则 ^xm-30b4f7caafbd4736b3f6cb79b4