网易首页 > 网易号 > 正文 申请入驻

DeepSeek开源真香!vLLM/SGLang连夜性能反超,推理速度卷出新高度

0
分享至

鹭羽 发自 凹非寺
量子位 | 公众号QbitAI

还得是「源神」D老师,善呐!

自家推理引擎DeepInfer掏出来还不到一周,开源社区就纷纷交上了作业。

真乃一鲸“落”万物生,第一波开源效果已经新鲜出炉:

立志学习DeepSeek、成为DeepSeek、超越DeepSeek。(bushi)



vLLM、SGLang这些成熟的推理框架率先迎来T0升级包——

在各自披露的测试配置下,性能已经接近甚至部分超过DeepInfer。

不戳不戳!DeepInfer最初基于vLLM构建,设计上也借鉴了SGLang的思路。

如今DeepSeek把打磨后的实现公开,两家又接着吸收、继续优化。

哥几个才是把开源玩出了花。



还有些受DeepInfer灵感启发的开发者个人项目陆续上线,从硬件适配、推理加速到部署优化,画风各不相同。

但效果倒是出奇一致:都更能打了!

这下DeepInfer一开源,社区都热闹了起来。

推理竞速进入白热化,It’s showtime~

开源社区玩转DeepInfer

先看vLLM。

这回交出的成绩,已经从「追平DeepInfer」一路延伸到了整机架部署。

通过集成DeepSeek的开源内核,并对预填充和解码阶段进行大量优化,vLLM现在的性能曲线已经可以与DeepInfer持平。

在相同解码配置(131K上下文、每轮3个草稿token)下,vLLM使用GB200测得的吞吐量,在批大小为8到256的范围内,与DeepInfer差距仅为6%。

预填充这边,新增token的吞吐量也提升了35.6%~43.9%。



再把部署规模拉到NVIDIA GB300 NVL72机架。

配合预填充与解码分离、扩大专家并行,vLLM在SemiAnalysis AgentX测试中的每卡吞吐高达95.4万tokens/s,是此前单节点结果的7.9倍。



同一个DeepSeek,还真被他们继续挤出了速度。。。

要说这些提升怎么来的?团队几乎做到了每一个细节都不放过。

比如处理输入时,稀疏注意力需要从一批候选中筛出值得关注的内容,这就涉及top-k选择。

此前的一条路径,会先把DeepGEMM输出的BF16分数转换成FP32,再进行筛选。新的实现则直接让DeepSelect处理BF16数据,把中间那次转换省掉。

少启动一道计算,看起来只是一个小改动,但在对应的算子测试中,这部分top-k处理速度能达到原来的约3.7倍。

vLLM团队还自己另外改了一套CPU通信方式,采用递归倍增等方式交换信息,减少同步所需的轮次。

对应Agent常用的小批量解码,vLLM也选择单独支持DSpark草稿生成,并使用完整CUDA Graph执行专用解码路径。



SGLang紧接着交出的答卷,则走得更远,把输入、输出两个阶段都覆盖到了。

SGLang分别在4张B300、4张GB300上测试预填充,最高吞吐比DeepInfer高出约4%。

解码测试时,同样使用64张GB300。

每卡256个请求时,DeepInfer每步耗时31.19毫秒,SGLang为28.88毫秒,单步时间缩短约7.4%;每卡8个请求时,两者则基本持平。



具体操作中,SGLang先是将Mega内核(MegaMoE、MegaAttention、Mega-mHC、MegaGate)、SWA有界重放以及Engram优化通通集成。

达到对标DeepInfer的性能后,再继续迭代,引入更多内核融合方案。

随后通过支持可拆分CUDA图,实现高效预填充。

最终对比DeepInfer的开源版本,SGLang更为完整,额外补充了关键的服务组件,包括KV缓存系统、预填充/解码分离架构以及负载均衡模块。



值得一提的是,SGLang为了更严谨地对比,还在GB300和B300上,将DeepInfer重新跑了一遍。

结果不跑不知道,DeepInfer部分配置的吞吐,比原先公布的成绩还高。。。

好家伙!原来D老师真是老实人,测试成绩相当实在!



推理加速循环

开发者Eric Zhang又把玩法往前推了一格。

此前他一直在开发一套用于搭建大模型推理引擎的实验性积木库——Resin。

它把多个模型都会用到的部分做成公共底座,比如调度器、KV缓存管理等。再由用户自行补上特定模型、特定硬件需要的计算实现,就能组合出一个独立引擎。

Eric自述,最近一周他受DeepInfer启发,成功让不少功能和并行机制跑了起来。

根据测试结果,在DeepSeek-V4.1-Flash上,Resin的性能与DeepInfer相差约5%~10%,同时具备HTTP服务、前缀缓存和指标等功能。



接着,他又给这个底座配了个Skill。

任务是教会AI如何基于Resin实现模型,再把Codex放上去通宵干。

据他披露,Agent完成了支持MTP的GLM-5.3-Flash引擎;在B200、EP4配置下,输入吞吐最高达到6万tokens/s,输出吞吐最高达到1.6万tokens/s。



而且!Resin依旧开源。

泪目了,大肥鱼,这开源盛世如你所愿。

DeepInfer从开源来,又回归开源。成熟框架接着继续集成和优化,个人开发者也得以吸收其中的设计,接力开源。

So,大肥鱼才是真正领悟了可持续开源的真谛~



参考链接:
[1]https://vllm.ai/blog/2026-10-23-deepseek-v41-flash-pd-wide-ep
[2]https://gist.github.com/sglang-bot/f03d7d0dd268b0386177eb2ef09f8b3b
[3]https://x.com/BanghuaZ/status/2114083299102691751
[4]https://x.com/vllm_project/status/2112480719952138301
[5]https://x.com/ekzhang1/status/2114516258188153215

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

唠叨说历史
2026-11-18 15:06:45
李一桐变得越来越妩媚了,黑丝袜搭配白衬衣尽显制服风韵!

李一桐变得越来越妩媚了,黑丝袜搭配白衬衣尽显制服风韵!

说不尽的人心
2026-11-22 10:41:55
2-0,4-0!英超疯狂1夜!曼联惨败,布莱顿大爆冷,积分榜出炉

2-0,4-0!英超疯狂1夜!曼联惨败,布莱顿大爆冷,积分榜出炉

过期少女致幻录
2026-11-23 03:34:31
股票跌、基金跌、黄金跌、比特币跌,为什么所有资产都在跌?

股票跌、基金跌、黄金跌、比特币跌,为什么所有资产都在跌?

村夫观天下
2026-11-22 21:31:28
3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

刘姚尧的文字城堡
2026-11-22 20:13:56
终南山第一隐士:隐居30多年,天天清水煮白菜,现亲人已认不出他

终南山第一隐士:隐居30多年,天天清水煮白菜,现亲人已认不出他

快乐彼岸
2026-10-22 04:01:15
首都医科大学孙永全教授因病离世,年仅62岁

首都医科大学孙永全教授因病离世,年仅62岁

双一流高校
2026-11-23 00:08:08
29岁中国女排名将称国外没有瘦肉精!拒道歉不回应 网友:崇洋媚外

29岁中国女排名将称国外没有瘦肉精!拒道歉不回应 网友:崇洋媚外

念洲
2026-11-22 08:51:44
特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

星落山间
2026-11-22 17:33:19
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

小豫讲故事
2026-09-17 06:00:15
仰天长啸+捂脸痛哭!桥本一周两冠世排升13位 日媒:国乒也在忌惮她

仰天长啸+捂脸痛哭!桥本一周两冠世排升13位 日媒:国乒也在忌惮她

颜小白的篮球梦
2026-11-22 23:22:20
儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

温情邮局
2025-09-28 11:57:16
油价又调了,新能源车主下半年就剩两条路,第二条很多人不想承认

油价又调了,新能源车主下半年就剩两条路,第二条很多人不想承认

沙雕小琳琳
2026-11-23 03:06:58
报复连夜落地!凌晨4枚锆石狂轰6万人小城,普京赌的是乌军拦不住

报复连夜落地!凌晨4枚锆石狂轰6万人小城,普京赌的是乌军拦不住

观锐器
2026-11-19 23:10:04
0-3!迈阿密国际季后赛惨败,梅西0进球0助攻,下场不赢就出局

0-3!迈阿密国际季后赛惨败,梅西0进球0助攻,下场不赢就出局

体育知多少
2026-11-22 09:21:53
吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

华庭讲美食
2026-11-22 14:02:23
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
伊朗副外长证实调解方卡塔尔代表团访问德黑兰

伊朗副外长证实调解方卡塔尔代表团访问德黑兰

澎湃新闻
2026-11-22 01:49:02
77年我把大院千金藏在草垛,20年后她成一把手,开车堵了我家大门

77年我把大院千金藏在草垛,20年后她成一把手,开车堵了我家大门

卡西莫多的故事
2026-05-09 09:42:29
2026-11-23 04:11:00
量子位 incentive-icons
量子位
追踪人工智能动态
13709文章数 176603关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
旅游
亲子
教育
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版