模块资料｜LLMOps：网关、评估、可观测与安全
原图深度模块的结构化资料摘录，保留目标、知识、命令线索、风险、排障、练习与验收。它不是一张原子知识卡，也不是可直接执行的操作手册。
所属方向：AI Infra。
目标
- 管理模型、提示、数据、工具、质量、成本和风险。
知识拆解
- model/prompt/dataset version
- offline/online eval
- token/cost/latency
- semantic cache
- routing/fallback
- prompt injection/tool risk
命令 / 配置 / 关键对象
以下是原图中的命令名、缩写或配置对象，并非经校验的完整命令行；其中可能含写操作。执行前必须补齐版本、权限、目标和风险。
- trace/span
- eval dataset
- quality gate
- budget/quota
- red team
- audit
高频故障与风险
- 模型更新静默回退
- 成本失控
- judge 偏差
- 敏感提示泄漏
- 工具越权
排障路径
- 请求→model/router→retrieval/tool→response
- 版本对齐
- 错误分层与人工抽样
实战练习
- 100 条运维问答评估集
- 模型故障 fallback 与安全门禁
验收标准
- 每次响应可追版本
- 质量变更可回归
- 高风险动作人工批准
对应优秀开源项目
- langfuse/langfuse；原链接：
https://github.com/langfuse/langfuse - promptfoo/promptfoo；原链接：
https://github.com/promptfoo/promptfoo
继续拆卡的规则
本页是资料入口。只在形成一个能独立解释、带依据与边界的认识后，提炼为 Concept；故障观察进入 Troubleshooting，满足诊断条件的处置进入 Runbook，真实事件进入 Incident。