网易首页 > 网易号 > 正文 申请入驻

DeepInfer登顶HN:单卡每小时赚38美元,但我翻完README发现,最值钱的三样东西它没开源

0
分享至

DeepSeek又开源了。这次不是模型,是跑模型的引擎。

10月20日,DeepInfer在Hacker News拿到2118分,GitHub仓库四天涨到1.2万星。官方披露的数据极具冲击力:单集群日吞吐155万亿Token,每卡每小时收入38美元,海外社媒据此推算推理毛利率84%到96%。

数字很漂亮。但我翻到README最后一节,看到一行小标题:“完整推理服务还需要,但本版本不含”。

点进去,三项:KV cache系统、Prefill与Decode的分离调度、跨数据并行副本的负载均衡。

38美元是DeepSeek的收入,不是你的省钱。 这三项缺的,恰好是“能跑起来”和“能扛生产流量”之间的全部距离。

先把这个“38美元”的口径说清楚

38美元是按谷电时段的定价算出来的收入,不是利润,也没有扣除设备折旧、带宽、运维和缓存存储。

它的底层逻辑藏在DeepSeek公布的线上数据里。平均输入缓存命中率96%,意味着绝大多数输入Token是以极低的缓存价格结算的;真正跑计算的只有那4%的未命中输入和输出。Prefill阶段每卡不含缓存命中时吞吐60K tps,含缓存命中时冲到1.5M tps;Decode阶段每卡14K tps,吐字速度230 tps,代码场景能到300。首字延迟平均400毫秒,P99约1000毫秒。

社区测算的毛利率区间,建立在“97%输入命中缓存、2%未命中、1%输出”的流量结构上,再叠加H100级别GPU每小时1.5到6美元的租赁成本假设。假设换了,结论就换了。 但有一点是确定的:高毛利的第一驱动力是缓存命中率,不是推理框架本身有多快。



开源的是计算路径,服务层被留在了内部

OrcaRouter的解析说得很直接:你得到的是计算路径——内核、并行、推测解码、调度、结构化输出。你没有得到的是存储与路由层,而正是它让计算路径能够在大规模下以低成本运行。

KV cache系统负责在请求之间复用已经算过的上下文。没有它,每个新请求都从零开始算,缓存命中率96%那个成本优势直接消失。Prefill与Decode分离调度负责把“读输入”和“写输出”拆到不同的资源池里,避免两种负载互相拖累。跨副本负载均衡负责在多个数据并行副本之间分配请求,没有它,扩副本只能靠人肉运维。

DeepSeek给出的不包含理由是:这些组件与内部基础设施紧密耦合,设计在技术文章里写了,代码留在内部。

翻译成大白话:引擎给你了,变速箱、油箱和方向盘没给。 你可以把引擎点着火听个响,但开不上路。



和vLLM、SGLang到底是什么关系

DeepInfer不是凭空造出来的。README自己写了:最初主要基于vLLM构建,同时借鉴了SGLang和TensorRT-LLM的设计。

所以“DeepSeek的引擎比vLLM快很多倍”这个说法,vLLM官方并不认账,回应是“vLLM就是还原DeepSeek性能所需的一切”。

选型逻辑其实很清楚:DeepInfer是专用引擎,只服务V4.1-Flash一个模型;vLLM和SGLang是通用引擎,支持数百个模型。硬件受限选vLLM,多轮对话和RAG高吞吐选SGLang,追求官方调优基准或者需要昇腾支持选DeepInfer。

还有一个容易被忽略的细节:DeepInfer的确定性推理(batch-invariant inference)只支持英伟达,昇腾路径没有。如果你既要可复现、又要用国产卡,这两件事目前不能同时成立。



那它到底开源了什么值得看的东西

三项缺失之外,仓库里确实有硬货。

DSpark推测解码,验证长度是调度出来的,不是固定的;SWA Bounded Replay,避免滑动窗口注意力的缓存因为一次未命中就被迫全量重算;异步批调度,CPU组织batch和设备计算重叠,默认开启;结构化输出,受正则、JSON schema或EBNF约束。还有配套的deepseek-recipe,用Rust写的Token编解码组件,确保自托管时的请求渲染和官方API完全对齐。

这些东西对已经在跑DeepSeek模型的云厂商和推理服务商有直接参考价值。它们本来就有KV cache、有调度、有负载均衡,缺的正是DeepSeek在V4.1-Flash上做的那些专项调优。DeepInfer补的是它们的“最后一公里”,不是你的“从零到一”。普通人想自托管,账根本算不过来

硬件门槛是第一道墙。基准是在4块SM100 GPU上测Prefill、64块SM100上测Decode跑出来的。权重下载就510GB起步,普通显卡连加载都做不到。

退一步说,就算你有卡,缺的那三项也得自己补。腾讯云那篇文章的作者说得很实在:单容器跑通一个AI服务只要一个下午,但要扛并发、要扩副本,调度和缓存全是另起炉灶的活。

对个人开发者来说,最务实的选择恰恰是不碰自托管。 直接在应用里调用DeepSeek的API,比租卡、补服务层、扛运维便宜得多,也省心得多。DeepInfer对你的价值,是让你看懂“你付的API费用里到底在为什么买单”,不是让你自己变成一个小号DeepSeek。



那它到底开源了什么值得看的东西

三项缺失之外,仓库里确实有硬货。

DSpark推测解码,验证长度是调度出来的,不是固定的;SWA Bounded Replay,避免滑动窗口注意力的缓存因为一次未命中就被迫全量重算;异步批调度,CPU组织batch和设备计算重叠,默认开启;结构化输出,受正则、JSON schema或EBNF约束。还有配套的deepseek-recipe,用Rust写的Token编解码组件,确保自托管时的请求渲染和官方API完全对齐。

这些东西对已经在跑DeepSeek模型的云厂商和推理服务商有直接参考价值。它们本来就有KV cache、有调度、有负载均衡,缺的正是DeepSeek在V4.1-Flash上做的那些专项调优。DeepInfer补的是它们的“最后一公里”,不是你的“从零到一”。



还有一件README不会写的事

10月19日,美国国土安全部发布命令,把DeepSeek产品从联邦民事机构排除,范围明确包含“使用DeepSeek实现方案开发的第三方产品和服务”,但对微调、蒸馏的认定标准没有说明。

这意味着,如果你基于DeepInfer和V4.1-Flash做了一套服务,来源合规性需要你自己判断,没有一个现成的清单可以对照。边界被写清楚了,来源只能自己证明。

这不是DeepInfer独有的问题,是所有基于开源权重做商业化的人都要面对的事。但既然你要把一个“缺了三样”的引擎接进生产环境,这件事至少值得在动手之前想一遍。



38美元是一个信号,不是一张邀请函。 它告诉你推理生意有多赚钱,也告诉你赚钱的前提是缓存命中率、是调度、是负载均衡——而这三样,恰好是开源版没给的那三样。DeepSeek把账本摊开了一半,另一半留在了自己手里。对绝大多数人来说,看懂这一半,比拿到那一半更值钱。

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
果然面相是不会骗人的,王诗龄就是个例子

果然面相是不会骗人的,王诗龄就是个例子

阿废冷眼观察所
2026-11-21 15:06:48
韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

趣笔谈
2026-11-21 11:08:09
2004年,马加爵因高烧卧床,同班林某特意带回两份盒饭,在宿舍陪他吃饭聊天;没想到,正是那顿饭意外救了林某一命

2004年,马加爵因高烧卧床,同班林某特意带回两份盒饭,在宿舍陪他吃饭聊天;没想到,正是那顿饭意外救了林某一命

人生录
2026-11-22 09:08:32
炸锅了!革命卫队和伊朗总统罕见统一战线,要从穆杰塔巴手里夺权

炸锅了!革命卫队和伊朗总统罕见统一战线,要从穆杰塔巴手里夺权

乐享人生风雨
2026-11-22 14:58:19
排坛最新消息!名将颜妮大婚,中式婚纱上镜又美又飒,恩师郎平传来喜讯

排坛最新消息!名将颜妮大婚,中式婚纱上镜又美又飒,恩师郎平传来喜讯

南海浪花
2026-11-22 15:03:19
我东北人,在深圳吃过猪脚饭后,终于明白:为啥猪脚饭走不出深圳

我东北人,在深圳吃过猪脚饭后,终于明白:为啥猪脚饭走不出深圳

神牛
2026-11-21 21:58:25
康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

江东浪流史
2024-12-22 08:00:03
17年刑期临头,柯文哲庭上哽咽:当年不肯做副手,如今怕被关到死

17年刑期临头,柯文哲庭上哽咽:当年不肯做副手,如今怕被关到死

娱乐圈的笔娱君
2026-11-21 10:51:46
10胜6负,开拓者跌进附加赛,诺里只是比斯普利特运气好而已

10胜6负,开拓者跌进附加赛,诺里只是比斯普利特运气好而已

姜大叔侃球
2026-11-22 17:44:00
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
油价,早先一路猛涨,丝毫没有顾及普通百姓的感受,如今反转了!

油价,早先一路猛涨,丝毫没有顾及普通百姓的感受,如今反转了!

刘哥谈体育
2026-11-22 16:12:23
安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

极目新闻
2026-11-21 22:17:27
苹果这家Apple Store,今日正式关闭

苹果这家Apple Store,今日正式关闭

全是技能
2026-11-22 16:20:39
辽宁铁矿石到底多富?探明150亿吨够用80年,中国工业根基稳了

辽宁铁矿石到底多富?探明150亿吨够用80年,中国工业根基稳了

兴趣知识
2026-11-22 02:59:53
普京终于摊牌:俄乌战争最大搅局者不是美国,而是这个跟俄罗斯斗了200年的老冤家

普京终于摊牌:俄乌战争最大搅局者不是美国,而是这个跟俄罗斯斗了200年的老冤家

z千年历史老号
2026-09-23 17:17:11
余承东真难啊!刚说完“开车别睡死就行”,立刻就微博纠错

余承东真难啊!刚说完“开车别睡死就行”,立刻就微博纠错

ZAKER新闻
2026-11-20 18:35:14
突然暴涨!这张20元纪念钞,你也约过!

突然暴涨!这张20元纪念钞,你也约过!

天天纪念币
2026-11-22 09:59:10
回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

胡侃社会百态
2026-11-21 19:07:57
A股:股民坐稳扶好,不出意外的话,明天或迎一轮秋风扫落叶行情吗?

A股:股民坐稳扶好,不出意外的话,明天或迎一轮秋风扫落叶行情吗?

趋势清风侠
2026-11-22 13:20:26
扎心了!35岁股民哭诉2015年进场,反复操作亏近60万,靠家人还债,自述心态崩溃迷茫

扎心了!35岁股民哭诉2015年进场,反复操作亏近60万,靠家人还债,自述心态崩溃迷茫

火山詩话
2026-11-22 11:28:22
2026-11-22 18:55:00
阿鑫讲ai
阿鑫讲ai
专门讲解现阶段高热度的AI
134文章数 16关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

教育
家居
旅游
艺术
公开课

教育要闻

题目难还是真超纲?六年级数学题全年级只有很少同学解答正确

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

青海西宁冬春文旅推介会走进成都 5条周末精品线路+12条周边游亮相

艺术要闻

北京第一高楼差点落在丰台!丽泽“云柱”大楼!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版