GPU 与推理
快捷专题:复用主方向与正文,不新增平行的知识副本。
将设备健康、软件栈、资源分配与推理服务四层分开;硬件可见性、任务分配与请求性能分别需要证据。
主方向
相关模块资料
故障入口
有道笔记提炼线索
- A100 可见但 CUDA 初始化失败:用于区分设备枚举、Driver API 初始化与框架报错,并核对驱动和内核日志;原笔记的固件归因仍待验证。
- Qwen2.5-VL 在 V100 上的兼容性线索:对照 Notebook 环境、精度、视觉输入规模及服务请求,逐项验证版本敏感的部署参数。
- RHEL 8 V100 驱动兼容核查:对比两份离线部署笔记的 570/550 分支与内核版本,保留编译报错的取证条件,避免把回退内核当作通用修复。
- 量化模型显存估算:校正来源的精度换算,并将权重下界、KV cache 和实际服务容量分开核算。
- P/D 分离推理的观测维度:按排队、预填充、KV 传输和解码分段观察延迟与容量;指标语义须按实际引擎核对。