网易首页 > 网易号 > 正文 申请入驻

Claude自写推理引擎!等AI回第一个字,12秒砍到半秒

0
分享至


新智元报道


你让AI帮忙修一个登录报错。

照着它的建议改完代码,你重新跑了一遍登录测试。终端又弹出一行红字,报的还是同一个错。

你把新日志贴进对话框,再按下回车,等AI告诉你下一步查哪儿。

修一个bug,往往要这样来回折腾几轮。

每次提交问题后,你要等多久,才能看到AI回的第一个字?

最近,有人拿真实编程会话做了个测试,Claude直接把这段干等的时间从约12秒缩短到了半秒。

11月12日,卡内基梅隆大学、NVIDIA等机构的研究者提交了《奇点基准测试:智能体能构建智能体吗?》《Singularity-Bench: Can Agents Build Agents?》预印本。


其中一道题,研究者给了Claude Opus 5.5一份基础服务器代码、4张GB300显卡和12小时。

做题时,开发环境限制了上网查资料。Claude要用Claude Code写一套推理引擎,负责接收用户请求、调度显卡运行模型,再把生成的回复发回去。

引擎写完后,研究者没有只看代码,而是直接用真实编程会话检验它的表现。

他们让两套引擎分别用4张GB300运行同一个模型,回放同一批16路并发的真实编程会话。

衡量的指标叫P90首token延迟:

把所有请求从发出到模型开始回复的等待时间排个序,排在第90百分位的时间,就是P90。换句话说,90%的请求都能在这个时间内开始回复。

结果,成熟引擎SGLang(v0.5.20)用了约12秒,Claude写的引擎只用了0.48秒。


相同硬件和模型条件下,Claude自研推理引擎的P90首token延迟为0.478秒,SGLang为12.029秒。

等12秒,你可能已经切回编辑器,顺着报错翻了几行代码。半秒呢?你刚敲完回车,对话框里就能看到AI回复的第一个字。

一旦开始回复,两套引擎的生成速度几乎一样:按中位数算,Claude写的引擎每秒生成124.2个token,SGLang是125.0个。

那AI开口前的这11秒半,Claude到底是怎么省下来的?

只改一句话

服务器还要读多少

假设你正用AI改网页。

前面贴过源码和报错,也试过好几版方案。这一轮,你只补了一句「把登录按钮往右挪一点」。

在论文回放的编程会话里,前几轮的聊天记录也会一起送到服务器。16路会话同时跑,单次输入的中位数是8.9万个token。

模型得先处理输入,才能开始回复:这一步叫「预填充」。

如果新一轮请求的开头和上一轮一样,引擎可以调出之前算好的结果,接着处理新添的内容,这就是「前缀缓存」。

这里的「算好的结果」,就是模型读完那段前文时留下的计算记录。这次测试用的模型会留下两份。

一份保留前文的信息,方便模型回头查;另一份像账本上的余额,模型每多读一点,余额就更新一次。

Claude写的引擎会把同一段前文对应的两份记录一起存下来。下次遇到相同的开头,引擎就能从那段前文的末尾接着读,只算后面新添的内容。

SGLang也用了前缀缓存,两套引擎的缓存命中率都在96%左右。

16路请求同时过来时,没命中缓存的内容还要交给显卡处理。

每条请求剩下的计算量有多少,显卡先处理哪一条,也关系到你多久能看到AI回复的第一个字。


Claude自研推理引擎与SGLang的性能对比。两者缓存命中率和生成速度接近,但Claude引擎的P90首token延迟明显更低。

剩下的活儿越少

排得越靠前

想象一下超市结账的场景:

排在你前头的顾客推着满满一平板车年货,几万个全新token等着从头扫码。

而你站在后面,手里只攥着一瓶矿泉水——也就是在老会话里追问了一句话,九成六的前文都有现成缓存。

在并发推理局里死守「先来后到」,等于让买一瓶水的人替整车年货罚站。

因此,Claude给推理引擎定下了一条排队规矩:

谁剩下的计算量少,就先处理谁。

遇到好几万token的全新大单,引擎还会把它切成小块分批消化,绝不让一个大任务把整条车道堵死。

这样一来,你在旧对话里补的那句追问,就有机会绕过长请求的等待,优先得到处理。

生成阶段,引擎还叠加了「投机解码」:

模型自带的轻量预测层先猜一个token,主模型随后核验。猜对了,就直接采用预测结果;猜错了,就丢弃预测,按主模型的结果继续生成。

与此同时,引擎还把原本零散执行的GPU操作打包合并,减少不必要的调度和数据搬运。

即便SGLang也启用了前缀缓存和投机解码,Claude写的引擎在输入处理和请求调度上仍然占优:平均到每张GPU每秒,它能多处理19%的未缓存token。


横轴为P90首token延迟,纵轴为每GPU秒处理的未缓存token数。Claude自研引擎在降低首token等待时间的同时,也提高了未缓存输入的处理效率。

在相同的回放时限内,SGLang完成了705个请求,Claude写的引擎则完成了983个,多处理了近四成。

再按预设的输入、输出单价给完成的请求折算「模拟收入」,Claude引擎每GPU小时的产出从SGLang的8.18美元提高到11.52美元,增长40.8%。

开发者能更早看到AI回复,同样的显卡也能在同一段时间里处理完更多请求。

当然,真实工作场景中向来只认交付结果:跑得飞快却满嘴胡话,那叫高速翻车。

研究者在交卷时设了两道硬门槛:一是在并发负载下,必须完整生成规定长度的回复;二是通过隐藏测试的准确率验收。

参测的11套AI自研引擎里,最终只有5套同时闯过这两关;另外6套要么半路吞字断句,要么准确率崩盘,按规则当场判了零分。


11组AI搭基建

Claude五胜一平

手搓推理引擎,只是Singularity-Bench六道考题中的一道。

研究团队把造AI的核心苦活拆成了六场独立闭卷考:三道考训练(从头预训练、中期训练挑数据、后训练强化学习写代码),另外三道考基建(推理引擎、智能体运行框架、显卡集群调度)。


研究团队将AI研发划分为训练、部署和应用三个阶段,设置六项任务,测试智能体能否独立优化AI研发流程。

由7个主流模型与Claude Code、Codex两套运行框架组合出的11支AI队伍,全程断网领起始代码、按倒计时交卷,在完全相同的硬件上单挑人类打磨多年的成熟方案。

除了推理大胜,Claude Opus 5.5搭配Claude Code还在另外四道题上赢过了人类基线。

拿到预训练考卷(4张GB300、12小时),Claude没有急着开训,而是先花44分钟测试显卡性能,再根据测试结果确定模型规模。直到第44分钟,它才启动训练。

最终,Claude只用了约一半的训练计算量,就在验证集上取得12.77的困惑度,优于人类基线(OLMo 2 1B搭配Megatron-LM)的14.22。

到了中期训练(4张GB300、12小时),考题换成了给已有模型挑选下一批「教材」,再用同一套强化学习任务检验训练效果,考察模型在数学、代码和科学领域的表现。

Claude主要挑选解题过程完整、答案经过核验的数据。最终,它的方案将下游平均准确率从人类PRISM配方的17.5%提高到31.9%,接近翻倍。

智能体运行框架(1张GB300、6小时)最具戏剧性:这道题考的是模型什么时候调用工具、出错后怎么查看日志,而人类对照组恰恰是原版Claude Code。

结果,Claude自己给自己动了场手术,把下游平均分从0.438提高到0.468。在同一批测试中,新框架比原版Claude Code多修好了一个bug。

集群调度(16张GB300、4小时)则要用16张卡同时伺候28个模型的服务请求。

Claude实测发现,部分引擎共用显卡时会争抢资源、互相拖慢,于是调整调度策略,让它们轮流使用GPU。

最终,它在延迟达标率和请求完成率两项指标上综合拿下0.510分,超过NVIDIA Dynamo搭配KAI Scheduler的0.460分。

连自己的框架都能改,还能在集群调度测试中超过NVIDIA的方案,Claude这次把工程能力秀出来了。

唯一没分出胜负的是后训练(4张GB300、12小时)。

Claude通过强化学习提升给定模型的编程能力,最终解题率为53.3%,人类对照方案Miles为53.9%。逐题比较,双方各有18道题只有自己解出,论文据此判为平手。

六项成绩等权汇总,以人类基线1分为参照,Opus 5.5搭配Claude Code以「五胜一平」拿下1.252分,成为唯一超过人类基线的组合。第二名GPT-6.1 Sol搭配Codex得0.969分,其余10组平均只有0.58分。

总榜还揭示了另一点:模型大脑决定能力上限,运行框架决定本事能发挥多少。

同一款开源模型,搭配Codex得0.228分,换成Claude Code涨到0.657分,接近原来的3倍。另一款模型却恰好相反,搭配Codex得0.698分,换成Claude Code反而跌至0.520分。

这说明模型够强还不够,框架没选对,照样可能发挥失常。

拿下总榜第一,Claude光调用API花了多少钱?

仅开发阶段的API调用,Opus 5.5就花了425.41美元,高于前代Opus 5的328.19美元,约是第二名GPT-6.1 Sol(84.52美元)的5倍。GPU和下游评测开销另计。

下一道题

让AI自己改进整体研发线

训模型、挑数据、写引擎、管显卡,AI已经在多项任务上超过人类基线。

这是否意味着「AI自己迭代下一代AI」已经实现了?还不能这么说。

这六道题本质上还是人类划好范围、AI分别作答。

后训练优化的是给定模型,推理引擎服务的是另一款现成模型。每道题从什么代码起步、优化什么指标、给多少时间和算力,都由人类提前设定。

论文作者也承认,要真正检验递归自我改进(RSI),还需要更多时间和算力。

造好一个零件和自己改进整条生产线,完全是两回事。

真正的考验是,AI能不能自己找出研发流程中最拖后腿的环节,比如训练太慢、数据选得不对,还是强化学习总在等待推理结果?

找到瓶颈后,它还得决定从哪里下手,再把改进放回整条研发流程中验证。

最终,不仅要看省下了多少算力和时间,还要看训练出来的下一代模型是不是真的变强了。

更进一步,下一代模型还要能接过上一代的工作,继续发现问题、改进流程,交出经得起复测的新成果。

当AI能自己找瓶颈、改流程、训练出更强的下一代模型,并让这一过程不断延续,递归自我改进才算真正开始。

今天,这项研究测的是AI能否让一次回复少等11秒;未来真正值得关注的,是AI能否独立完成一次跨代升级,以及这需要多长时间。

参考资料:

https://x.com/rohanpaul_ai/status/2121330917801431326

https://arxiv.org/abs/2611.16591

https://infini-ai-lab.github.io/singularity-bench/

编辑:元宇


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
台湾地区代表施振荣,亲赴深圳,公开向大陆喊话,港媒点评太犀利

台湾地区代表施振荣,亲赴深圳,公开向大陆喊话,港媒点评太犀利

国际风云录
2026-11-18 23:18:53
港股中际旭创尾盘拉涨超6%

港股中际旭创尾盘拉涨超6%

每日经济新闻
2026-11-19 15:33:04
比亚迪方程豹钛9上市 首发折叠智舱 27.99万元起售!

比亚迪方程豹钛9上市 首发折叠智舱 27.99万元起售!

CNMO科技
2026-11-19 21:23:07
华为造了台超薄的Air新机,太好看了

华为造了台超薄的Air新机,太好看了

刘奔跑
2026-11-18 19:44:08
3800万人围观!黄仁勋辞职后首次发文:英伟达是一生心血,想带大家再冲一次

3800万人围观!黄仁勋辞职后首次发文:英伟达是一生心血,想带大家再冲一次

算法与数学之美
2026-11-18 23:56:49
下跌近600元了!多家品牌,金饰克价下调

下跌近600元了!多家品牌,金饰克价下调

环球网资讯
2026-11-19 14:25:35
美丽动人的倩影!烟波深处,一袭白衫染江南

美丽动人的倩影!烟波深处,一袭白衫染江南

史海流年号
2026-10-24 18:40:56
终有一天你会明白王安石是对的:斗鸡走犬过一生,才是真正的幸福

终有一天你会明白王安石是对的:斗鸡走犬过一生,才是真正的幸福

老方
2025-04-18 16:21:16
59岁前港姐亚军至今未婚,曾拒绝男星追求,因择偶要求高错过姻缘

59岁前港姐亚军至今未婚,曾拒绝男星追求,因择偶要求高错过姻缘

蹲坑看世界
2026-11-20 00:06:55
九阳股份,再度上演“地天板”!

九阳股份,再度上演“地天板”!

证券时报
2026-11-19 12:19:03
出场不足248分钟,他却选择与皇马续约:因为“爱”

出场不足248分钟,他却选择与皇马续约:因为“爱”

体坛观察猿
2026-11-20 01:21:11
欧洲不肯卖中国光刻机,中方反问,欧洲为啥还想要中国新能源?

欧洲不肯卖中国光刻机,中方反问,欧洲为啥还想要中国新能源?

观察者小海风
2026-11-18 18:27:58
大 S 迎 50 岁冥诞,具俊晔在墓园泣不成声,S 妈携两外孙照合影

大 S 迎 50 岁冥诞,具俊晔在墓园泣不成声,S 妈携两外孙照合影

人间烟火记事本
2026-10-07 22:07:10
亥猪:12月上旬,可能要有“肝肠寸断”的消息,先做好准备吧

亥猪:12月上旬,可能要有“肝肠寸断”的消息,先做好准备吧

阿天爱旅行
2026-11-19 14:17:40
日媒称中国“失礼”,对高市早苗接待不如特朗普、普京,让高市早苗存在“落差”

日媒称中国“失礼”,对高市早苗接待不如特朗普、普京,让高市早苗存在“落差”

蓝星杂谈
2026-11-19 12:16:15
哈里王子突访乌克兰利沃夫,向乌克兰士兵保证:“你们会赢得战争”

哈里王子突访乌克兰利沃夫,向乌克兰士兵保证:“你们会赢得战争”

忧郁天空
2026-11-17 20:06:03
女特种兵休假被人贩子拐卖,当人贩子美美数钱时,竟不知她已在身后

女特种兵休假被人贩子拐卖,当人贩子美美数钱时,竟不知她已在身后

红豆讲堂
2025-03-24 10:44:33
男子买房后,房价从240万降到了80万。在网上抱怨几句后,李诞说:你应该赶紧去买几瓶茅台...

男子买房后,房价从240万降到了80万。在网上抱怨几句后,李诞说:你应该赶紧去买几瓶茅台...

LULU生活家
2026-09-14 15:37:16
纪实:两赌徒徒步3天3夜,从杭州走到上海搞钱,竟将一家三口灭门

纪实:两赌徒徒步3天3夜,从杭州走到上海搞钱,竟将一家三口灭门

人间六月天
2025-02-19 13:37:33
今年冬天可能是60年以来最反常的冬天,有三大特点,大家需要注意

今年冬天可能是60年以来最反常的冬天,有三大特点,大家需要注意

云霄纪史观
2026-11-20 00:50:08
2026-11-20 02:23:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16722文章数 67240关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
亲子
本地
艺术
手机

房产要闻

6.6亿!海口卖地!

亲子要闻

宝宝气人但是聪明的4个行为

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版