P/D 分离推理的观测维度

这是一张从私有短记提炼的设计提示卡，尚无真实压测或生产数据。模型推理服务与容量提供更完整的背景。

将一次请求按排队、预填充、KV 传输、解码、返回客户端分段观察。延迟侧可区分首 token 时间、相邻 token 间隔和端到端耗时；容量侧可观察请求队列、输入与输出 token 吞吐、KV Cache 占用和 GPU 利用率。按输入与输出长度分桶，避免不同负载混在同一个分位数里。

聚合指标用于容量、SLO 和告警；单请求追踪用于定位等待与计算分别发生在哪个阶段。只有部署确实采用 P/D 分离时，KV 传输的时延、失败和带宽才是独立观测对象。