北京
分享至
SkyRL 与 Beam 的集成，把 LoRA 解码吞吐量拉高了 62%。在并发 32 请求、PP2×TP8 的配置下，吞吐量从 276 提升至 447 tok/s/GPU。
这个数字来自对 vLLM 中专家适配器的合理调整。说白了，是推理侧的优化，不是端到端训练加速。两件事经常被混为一谈，但改的是解码路径，不是训练循环。
为什么值得单独拎出来说？因为 LoRA 推理的吞吐瓶颈，往往不在算力本身，而在适配器怎么被调度、怎么被塞进推理引擎的执行流里。vLLM 的专家适配器调整，动的就是这一层。
配置信息也很具体：并发 32 请求，PP2×TP8。这不是随便跑个 demo 的数字，是有明确并行策略前提下的实测结果。
需要划清边界的地方在于：62% 是解码吞吐的提升，属于推理加速范畴。把它读成训练提速，就跑偏了。
对做 LLM 推理优化的人来说，这类数字的价值在于可复现的前提条件被写清楚了——并发数、并行配置、单位是 tok/s/GPU。缺了这些，62% 只是个孤零零的百分比。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
