Qwen2.5-VL 在 V100 上的兼容性线索
从有道云笔记提炼的排查索引，未独立验证版本组合或性能。原笔记的配置、服务脚本和调用示例不作为可直接部署的配方。
适用版本
原笔记涉及 Qwen2.5-VL-7B-Instruct、Tesla V100 32GB、CUDA 12.1、Python 3.12、PyTorch 2.4.0 + cu121、torchvision 0.19.0，并以 vLLM 0.8.5 为服务化示例。模型修订号、Transformers 版本、驱动版本及镜像摘要未记录；这些缺口会影响复现。其他版本先核对官方兼容矩阵与实际 GPU 计算能力。
三类线索分别验证
| 观察到的现象 | 优先核对 | 不应直接下的结论 |
|---|---|---|
Notebook 中导入 torchvision 时报告部分初始化或循环导入 | 对比 Notebook 内 sys.executable 与命令行解释器，以及两边的 PyTorch、torchvision 安装版本 | 报错文字本身不足以证明是软件包缺陷；原笔记将环境不一致列为原因，仍需同环境复现。 |
视觉编码阶段报 too many resources requested for launch | 记录实际 dtype、图像尺寸或视觉 token 数、GPU 型号与报错栈；分别试验 FP16 和更低的视觉 token 上限 | 不能仅凭错误断言 BF16 或图像尺寸是唯一原因。V100 不具备原生 BF16 支持，FP16 是值得验证的候选配置。 |
| vLLM 进程启动或健康检查成功 | 再用小样本图文请求验证结果、显存峰值和延迟 | 进程就绪不等于多模态请求成功，也不等于容量达标。 |
调参顺序的判断依据
先分清错误发生在模型加载、视觉编码、KV cache 分配，还是请求执行阶段。视觉输入过大时缩小单图像素或单请求图片数量；上下文或并发导致显存压力时调整长度与并发。--dtype float16、--enforce-eager 等参数只能在所用 vLLM 版本与工作负载上逐项验证。原笔记对 CUDA Graph、chunked prefill 和最低 vLLM 版本的断言均缺少对照实验，不能写成 V100 的通用必选或禁用项。
待核查
- 固定模型修订号及依赖版本，核对该版本 vLLM 对 Qwen2.5-VL 与 V100 的实际支持范围。
- 对同一输入分别改变 dtype 与视觉 token 上限，记录哪一项消除错误；保留失败栈和显存数据。
- 验证最小图文请求、长输入和多请求场景，再决定参数及容量边界。