S03-运维实战项目阶梯｜从单机到 AIOps

来源快照｜运维实战项目阶梯｜从单机到 AIOps

原图文本快照；学习计划、演练和项目收录不表示已经完成或当前推荐。

• 运维实战项目阶梯｜从单机到 AIOps ^xm-e23b2174d2d84fa0a819b1cbb2
  • 通用交付模板 ^xm-ff4cb38cc0494b3ba636febd20
    • 设计 ^xm-8270b659b0e646d0badd97f9a5
      • 目标/非目标
      • 架构图
      • 数据流
      • 威胁模型
      • SLO/RPO/RTO
    • 工程 ^xm-dd457a9768414eec9928afe21f
      • IaC
      • 配置
      • 测试
      • CI/CD
      • 版本/制品
      • 回滚
    • 运行 ^xm-88c9249faa8546bfb32be791d8
      • 监控
      • 告警
      • Runbook
      • 容量
      • 成本
      • 安全
    • 证明 ^xm-28392688b0a84e3c8d05f5e60b
      • 故障注入
      • 压测
      • 恢复演练
      • 评估报告
      • 复盘
  • P01｜主机基线与巡检 ^xm-2c7189798af947c99e0b265f8a
    • 建议技术栈：Linux+Ansible
    • 实施范围 ^xm-0e6f76ff6fb742a4ba1157545c
      • 用户/SSH/sudo/时间/日志/补丁基线
      • 幂等 playbook
      • 异常报告与回滚
    • 最低验收 ^xm-b46868d5d77141cfb29c562c8f
      • 重复运行 changed=0
      • 至少 20 项检查
      • 高风险项可审计
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P02｜Linux 性能实验室 ^xm-827ddac58d18471b832f4e7663
    • 建议技术栈：Linux+perf/eBPF
    • 实施范围 ^xm-6cfe96bdbbb24301a8d687e6a8
      • CPU/内存/I/O/网络四类故障
      • USE 看板
      • 火焰图与证据
    • 最低验收 ^xm-38947b84b7e24a45912a6c6b82
      • 能区分瓶颈
      • 脚本可重放
      • 优化有前后对比
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P03｜网络故障实验室 ^xm-2704a0f7c3b54034a815cdb71a
    • 建议技术栈：Linux network namespace
    • 实施范围 ^xm-21ca30b3c2bf4df080a3dee0cf
      • VLAN/路由/NAT/DNS/TCP/MTU
      • 双端抓包
      • 逐层 Runbook
    • 最低验收 ^xm-15b2612bb2474b93ad78731191
      • 每个故障有包证据
      • 10 分钟内定位
      • 恢复验证
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P04｜IaC 测试环境 ^xm-0e505783dd9845e2a63650baee
    • 建议技术栈：OpenTofu+Ansible
    • 实施范围 ^xm-4d7567328bd84152a7db59e3bb
      • 模块化基础设施
      • 远程 state
      • 配置管理
      • drift
    • 最低验收 ^xm-efab8c3548934a9aad8fe93cd0
      • plan 审查
      • state 加密锁定
      • 一键创建/销毁
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P05｜Kubernetes 故障训练场 ^xm-0db7a784c2ef489e8075e1a918
    • 建议技术栈：kind+kubernetes-demos
    • 实施范围 ^xm-26c59b31fad547a99a9b8f2b07
      • CrashLoop/OOM/Pending/ImagePull
      • 网络/存储/探针
      • 故障题库
    • 最低验收 ^xm-abbbec0458e148f39ac53a0e57
      • 20 个场景
      • 证据链
      • 不以重启为唯一修复
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P06｜GitOps 发布平台 ^xm-9de7f6074eef4517a60b8fbbb3
    • 建议技术栈：Argo CD/Flux
    • 实施范围 ^xm-26a16e2d2b944d3ebf35930934
      • 多环境
      • secret
      • canary
      • 回滚
      • 审计
    • 最低验收 ^xm-fe9170922c724b479bdcaf3103
      • 手工漂移可发现
      • 发布可追
      • 回滚演练
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P07｜全栈可观测平台 ^xm-56dd13522fc14f4a9752f27dd8
    • 建议技术栈：OTel+Prometheus+Loki+Tempo+Grafana
    • 实施范围 ^xm-ca3b6d7c9e664066acfd13f680
      • 统一身份
      • 五类信号
      • 下钻
      • SLO
    • 最低验收 ^xm-e96058497abb42baa73b1a7067
      • 一条请求跨信号关联
      • 告警可行动
      • 成本可衡量
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P08｜告警治理平台 ^xm-1a0e692934874fcc9276506ba5
    • 建议技术栈：Alertmanager+Keep/Robusta
    • 实施范围 ^xm-bdb5dc4e6bbd4359a6e3321394
      • 去重/分组/抑制
      • owner/runbook
      • 事件时间线
    • 最低验收 ^xm-24b73ff3e7ff4406875393c190
      • 告警量下降
      • 严重事件不漏
      • page/action ratio 提升
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P09｜数据库恢复演练 ^xm-ba935f20e2364797ad16174069
    • 建议技术栈：MySQL/PostgreSQL
    • 实施范围 ^xm-6a762ec9891d4703a3b2482ad4
      • 物理/逻辑备份
      • 日志归档
      • PITR
      • 一致性校验
    • 最低验收 ^xm-0ef8199c78c34a9396d85e6701
      • RPO/RTO 达标
      • 恢复到新环境
      • 应用级校验
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P10｜K8s 容灾演练 ^xm-8a6f72612ecb4df48d72cb63c7
    • 建议技术栈：Velero+etcd+CSI snapshot
    • 实施范围 ^xm-e98b1ca4f7a849b097ef358f4f
      • 集群对象/PV/CRD
      • 迁移
      • 恢复顺序
    • 最低验收 ^xm-b8cfc91c1b9349f2a5bcfe6fdf
      • 隔离环境恢复
      • 关键旅程通过
      • Runbook 可重复
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P11｜DevSecOps 供应链 ^xm-8f18337bcf1b4d72b585b037d1
    • 建议技术栈：Trivy+Cosign+Kyverno
    • 实施范围 ^xm-2e03a1f8dfb949f9b4dd4ca87d
      • SBOM
      • 签名
      • 漏洞门禁
      • 准入验证
    • 最低验收 ^xm-21c65248895f428a91fa44180b
      • 生产镜像可验证
      • 例外有期限
      • 策略有测试
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P12｜混沌与 GameDay ^xm-b1900d4839a24c59adfbef0861
    • 建议技术栈：Chaos Mesh/Litmus
    • 实施范围 ^xm-78957ee48ca245c1932349346c
      • 稳态
      • 故障假设
      • 停止条件
      • 复盘
    • 最低验收 ^xm-f4b70af037ef4967811d97e08e
      • 爆炸半径受控
      • 发现进入行动项
      • 修复后重测
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P13｜GPU 推理平台 ^xm-b6b2432207144feb86c59ab1b4
    • 建议技术栈：GPU Operator+vLLM
    • 实施范围 ^xm-15166fee82c542a0b070bc7c63
      • 调度/监控
      • 模型版本
      • 并发压测
      • 灰度
    • 最低验收 ^xm-046ca2b88f084d71a78a0dfa96
      • TTFT/TPOT/p95
      • OOM/超载保护
      • 质量回归
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P14｜日志异常检测 ^xm-0ed576ddda684369a033add20c
    • 建议技术栈：LogAI+LogHub
    • 实施范围 ^xm-90cf5d8539f1402397b5882143
      • Drain
      • 统计基线
      • 深度模型
      • 漂移
    • 最低验收 ^xm-8e2d9bb6b21b4035a756acfd2c
      • 时间切分
      • Precision/Recall
      • 误报成本
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P15｜AIOps 事件调查助手 ^xm-1253989b763d408593fa931ea2
    • 建议技术栈：Grafana MCP+HolmesGPT/K8sGPT
    • 实施范围 ^xm-6b44d5af9f084dadb48f3cf5d1
      • 只读工具
      • 证据引用
      • RCA 候选
      • 审计
    • 最低验收 ^xm-728e4afc7bba4a1a816025892e
      • top-k 根因
      • 时间到定位
      • 无越权/幻觉证据
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P16｜自治 AIOps 评测场 ^xm-6671677ccda14f4fb656366226
    • 建议技术栈：AIOpsLab
    • 实施范围 ^xm-b0d5b3034b1f4bf4aba3f02165
      • 故障/负载/遥测
      • Agent
      • 检测/定位/分析/缓解评估
    • 最低验收 ^xm-185f819d74584664bff0378045
      • 可复现
      • 多次运行
      • 安全违规计分
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。
  • P17｜旗舰生产平台 ^xm-d88db8ff4d0d447ea271895980
    • 建议技术栈：SRE+GitOps+Observability+Security+AIOps
    • 实施范围 ^xm-44739c28d4104234a611675ab6
      • 服务目录/SLO
      • 自服务交付
      • 可观测
      • 事件响应
      • 智能助手
    • 最低验收 ^xm-1adf3419e1cf4ef09383de6bef
      • 架构/Runbook/ADR
      • SLO/成本/安全
      • 真实演练
    • 进阶：将手工步骤自动化，并为失败路径增加测试与观测。