网易首页 > 网易号 > 正文 申请入驻

同一个模型,只换Agent框架,成本差11.7倍,得分只差1.4个点:我翻完28,849次试验的榜单,发现Claude Code一直在跟100行Python打平

0
分享至

我先把账单摆出来。

在GLM-5.3-Flash上,Pi解决一个任务平均花$0.29,OpenCode花$3.35。差了11.7倍。换到Claude Code,它的单次试验成本接近mini-SWE-agent的两倍,超过OpenCode的三倍。

但得分呢?在447个SWE-bench Verified任务上,Claude Code和mini-SWE-agent的差距只有两个百分点,研究者判定为统计等价。mini-SWE-agent是什么东西?大约100行Python,只暴露一个bash工具,没有上下文压缩机制。

也就是说,你为一个“大厂框架”付的钱,买到的主要是开场白,不是能力。

Harness Leaderboard的数据更直白。28,849次试验、9个harness、3个开放模型,换一个harness,每100个任务里有29.1个结果会翻转;而同一个harness重跑一遍,也有23.4个任务会翻转。你看到的“得分差”,有将近四分之一是噪声。 但成本差是实打实的,它不随重跑而消失。



账单差在哪里:开场白吃掉了一半的钱

成本差距最反直觉的地方,在于它不是发生在“干活”的过程中,而是发生在你还没开始干活之前。

同一个模型、同一批任务、同一张价格表,初始固定上下文的长度:Claude Code 16,581 token,OpenCode 7,025 token,mini-SWE-agent 829 token。Claude Code的开场白是mini-SWE-agent的20倍。

这16,581个token里装了什么?系统提示词、CLAUDE.md、自动记忆、MCP工具名和描述、skill定义,全部在你输入第一句话之前就已经加载进去了。这些东西在“构建一个复杂的Agent工作流”时是资产,但在“跑一个边界清晰的编码任务”时是纯开销。你每次调用都在为这16,581个token付钱,无论任务需不需要它们。

Pi的聪明之处不在于它的代码更少,在于它的开场白更克制。 它以49.4%的解决率、$0.29的每任务成本,和mini-swe-agent的51.4%、$0.53统计打平,但便宜了大约45%。mini-swe-agent用极简的上下文换来了低开销,Pi在低开销的基础上把解决率追到了统计等价的水平。“便宜”和“能用”在这两个框架上同时成立。



Codex的21个点:不是框架弱,是“咬合”出了问题

Harness Leaderboard里最值得盯的单个案例,是Codex。

同一个Codex,在DeepSeek-V4.1-Flash上得68.8%,在GLM-5.3-Flash上只有47.4%,相差21个百分点。它在DeepSeek上能挤进第一梯队,在GLM上直接掉到中下游。

这不是“Codex好不好”的问题,是“Codex和GLM之间的接口、工具协议、上下文管理方式没有对齐” 。8090 Labs在另一组测试里也观察到了同样的现象:GLM-5.3-Flash在最好的harness里通过率59%,在最差的harness(Codex)里只有24%,差了35个点;而GPT-5.6 Sol无论换哪个harness,得分只波动6个点。有些模型“挑框架”,有些模型“不挑”。GLM是前者,Sol是后者。

对普通开发者的直接含义:你选了一个模型,不代表你选了一个“在所有框架里都一样表现”的模型。 同一个权重,在不同的Agent外壳里,可能是两个完全不同的产品。Harness Leaderboard的结论写得很干脆:“第一名会随模型变化。” GLM上mini-swe-agent以62.1%夺冠,Claude Code 60.7%并列第四;换到DeepSeek,Hermes Agent以71.3%领先,mini-swe-agent 70.7%紧随其后。没有“最强框架”,只有“和这个模型咬合最好的框架”。



大厂框架不便宜,也不一定更好:一句被数据反复验证的话

山东大学那组研究的总结,可能是整份榜单里最值钱的一句话:“A vendor’s own harness on its own model buys no score advantage.” 厂商自己的harness跑自己的模型,买不到分数优势。

这句话不是修辞。8090 Labs的测试里,五个harness里有三个来自模型厂商(Codex来自OpenAI、Claude Code来自Anthropic、DeepSeek harness来自DeepSeek),没有一个模型在自己的“主场框架”里拿到最好成绩。Claude Fable 5.1在Claude Code里通过率41%,在Codex里是61%,差了20个点;它在Claude Code里的工具调用中位数是28次,在Codex里是66次。“主场”甚至可能是一个劣势,因为厂商的harness可能针对自家模型的某些默认行为做了过度特化,换到别的模型上,这些特化变成了摩擦。

这直接回答了“Claude Code比mini-SWE-agent贵5倍值得吗”这个问题。 如果你需要的是Claude Code那套完整的工具链、MCP集成、CLAUDE.md项目记忆、子Agent编排,它16,581 token的开场白是你在为这些能力付费,值得。如果你只是需要一个“能读写文件、能跑命令、能改代码”的Agent,mini-SWE-agent的829 token开场白能完成同样的事,得分统计等价,成本只有几分之一。贵的不是“能力”,是“周边”。 而周边有没有用,取决于你的任务有多复杂。



无人值守的夜晚,应该看哪个数字

Harness Leaderboard给了一个被平均分掩盖的维度:可靠性。

前五名harness的“三次尝试全部解决”比率只有32.0%到33.3%,“至少解决一次”的比率是64.8%到68.6%。三个任务里,只有一个能保证三次全过。 如果你在夜里让Agent无人值守地跑一个任务,第二天早上看到的“成功”有相当概率是第二次或第三次重试的结果,而重试消耗的Token、时间和API额度,全部计入你的账单。

对无人值守场景,应该看“三次全对率”,不是平均分。 平均分是“允许重试”的数字,全对率是“一次做对”的数字。一个平均分很高但全对率很低的框架,意味着你在白天有人盯着的时候用得很顺,在夜里没人管的时候反复烧钱。

这也解释了为什么“框架得分差24分”这件事需要打一个折扣:换框架翻转29.1%的任务,重跑同一框架也翻转23.4%。两个数字放在一起,意味着你看到的“框架排名”里,有相当一部分不是框架本身的稳定优势,而是随机波动。得分可以用来排除明显不匹配的组合(比如Codex+GLM),但不能用来在几个统计等价的选项里“精确选优”。



怎么选:一份按任务类型拆的决策表

如果你的任务是短周期、边界清晰、人就在旁边盯着: 选轻量框架。Pi或mini-SWE-agent是起点,成本低、开场白小、得分和重框架统计等价。省下的钱可以用来多跑几次验证,而不是用来为不需要的周边付费。

如果你的任务需要复杂的工具链、MCP集成、项目级记忆、多Agent协作: 大厂框架的“重”在这里是功能,不是浪费。但你要做一件事:确认这个框架和你的模型“咬合”。Codex+GLM的21个点落差就是警告。在正式用之前,用同一批任务跑一次对照,看它在你的模型上的得分和成本是否可接受。

如果你让Agent在夜里无人值守地跑: 先查这个框架在Harness Leaderboard上的“三次全对率”,而不是平均分。如果全对率在32%附近,意味着你需要为“重试”预留三倍的预算和时间。

如果你在用自部署的开放模型: 注意“特化税”。一个在特定harness上训练过的模型,换到另一个harness后分数会下降。Harness Leaderboard只覆盖了三个Flash档开放模型,不含原生Claude或GPT。你的模型不在榜单上,不代表榜单没用,但你需要自己补一次最小化的对照测试。



28,849次试验、$4,746的推理账单,买到的最有价值的一条结论,不是“哪个框架第一”,而是:模型和框架是两个人,不是一个人。 你把所有的注意力放在“选哪个模型”上,但真正决定你账单和体验的,可能是那个你从来没认真看过一眼的外壳。Claude Code不是不好,它只是在“便宜且够用”这件事上,被一个100行Python的框架追平了。而你要做的,是知道自己在为什么付费。

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
果然面相是不会骗人的,王诗龄就是个例子

果然面相是不会骗人的,王诗龄就是个例子

阿废冷眼观察所
2026-11-21 15:06:48
韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

趣笔谈
2026-11-21 11:08:09
2004年,马加爵因高烧卧床,同班林某特意带回两份盒饭,在宿舍陪他吃饭聊天;没想到,正是那顿饭意外救了林某一命

2004年,马加爵因高烧卧床,同班林某特意带回两份盒饭,在宿舍陪他吃饭聊天;没想到,正是那顿饭意外救了林某一命

人生录
2026-11-22 09:08:32
炸锅了!革命卫队和伊朗总统罕见统一战线,要从穆杰塔巴手里夺权

炸锅了!革命卫队和伊朗总统罕见统一战线,要从穆杰塔巴手里夺权

乐享人生风雨
2026-11-22 14:58:19
排坛最新消息!名将颜妮大婚,中式婚纱上镜又美又飒,恩师郎平传来喜讯

排坛最新消息!名将颜妮大婚,中式婚纱上镜又美又飒,恩师郎平传来喜讯

南海浪花
2026-11-22 15:03:19
我东北人,在深圳吃过猪脚饭后,终于明白:为啥猪脚饭走不出深圳

我东北人,在深圳吃过猪脚饭后,终于明白:为啥猪脚饭走不出深圳

神牛
2026-11-21 21:58:25
康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

江东浪流史
2024-12-22 08:00:03
17年刑期临头,柯文哲庭上哽咽:当年不肯做副手,如今怕被关到死

17年刑期临头,柯文哲庭上哽咽:当年不肯做副手,如今怕被关到死

娱乐圈的笔娱君
2026-11-21 10:51:46
10胜6负,开拓者跌进附加赛,诺里只是比斯普利特运气好而已

10胜6负,开拓者跌进附加赛,诺里只是比斯普利特运气好而已

姜大叔侃球
2026-11-22 17:44:00
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
油价,早先一路猛涨,丝毫没有顾及普通百姓的感受,如今反转了!

油价,早先一路猛涨,丝毫没有顾及普通百姓的感受,如今反转了!

刘哥谈体育
2026-11-22 16:12:23
安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

极目新闻
2026-11-21 22:17:27
苹果这家Apple Store,今日正式关闭

苹果这家Apple Store,今日正式关闭

全是技能
2026-11-22 16:20:39
辽宁铁矿石到底多富?探明150亿吨够用80年,中国工业根基稳了

辽宁铁矿石到底多富?探明150亿吨够用80年,中国工业根基稳了

兴趣知识
2026-11-22 02:59:53
普京终于摊牌:俄乌战争最大搅局者不是美国,而是这个跟俄罗斯斗了200年的老冤家

普京终于摊牌:俄乌战争最大搅局者不是美国,而是这个跟俄罗斯斗了200年的老冤家

z千年历史老号
2026-09-23 17:17:11
余承东真难啊!刚说完“开车别睡死就行”,立刻就微博纠错

余承东真难啊!刚说完“开车别睡死就行”,立刻就微博纠错

ZAKER新闻
2026-11-20 18:35:14
突然暴涨!这张20元纪念钞,你也约过!

突然暴涨!这张20元纪念钞,你也约过!

天天纪念币
2026-11-22 09:59:10
回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

胡侃社会百态
2026-11-21 19:07:57
A股:股民坐稳扶好,不出意外的话,明天或迎一轮秋风扫落叶行情吗?

A股:股民坐稳扶好,不出意外的话,明天或迎一轮秋风扫落叶行情吗?

趋势清风侠
2026-11-22 13:20:26
扎心了!35岁股民哭诉2015年进场,反复操作亏近60万,靠家人还债,自述心态崩溃迷茫

扎心了!35岁股民哭诉2015年进场,反复操作亏近60万,靠家人还债,自述心态崩溃迷茫

火山詩话
2026-11-22 11:28:22
2026-11-22 18:55:00
阿鑫讲ai
阿鑫讲ai
专门讲解现阶段高热度的AI
134文章数 16关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

艺术
游戏
健康
教育
时尚

艺术要闻

北京第一高楼差点落在丰台!丽泽“云柱”大楼!

GTA6哪些建筑能进?原来看一眼地图就知道!

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

题目难还是真超纲?六年级数学题全年级只有很少同学解答正确

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

无障碍浏览 进入关怀版