北京
分享至
并发16的聊天测试里，4块B300配NVFP4，输出吞吐跑到1769 tok/s。同一套Beam Docker镜像，换成8块B300配FP8，数字是1300 tok/s。
GPU翻了一倍，吞吐反而低了。测试用的是BF16 KV，输出长度可变，两组配置的差别就落在GPU数量和精度上。
这组对比来自vLLM发布的内容，测试对象是Beam Docker镜像，场景限定在并发16的聊天负载。没有跑更复杂的推理任务，也没有覆盖其他并发档位。
对做推理部署的人来说，这个结果指向一个很实际的问题：堆卡不一定换来吞吐。精度选型、并行策略、KV缓存格式，任何一项变了，最终数字都可能重排。
NVFP4在4卡TP4下拿到1769，FP8在8卡TP8下拿到1300。两组配置的并行度不同，精度不同，卡数也不同，变量没有单独隔离。
能确定的是，在并发16这个档位上，4卡NVFP4跑出了比8卡FP8更高的输出吞吐。至于这个结论能不能推到其他并发、其他模型、其他硬件组合，测试没有给答案。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
