网易首页 > 网易号 > 正文 申请入驻

一人,合法,反超原版,王琰:填平闭源模型的思维链护城河

0
分享至



一个作者、一份技术报告,把整个行业最贵的一道护城河,变成了一个可以绕过去的工程问题。





先给一张图。两条实线是我们用原生思维链训出来的模型,颜色对应不同的老师(Claude 的 Fable 5 与 GPT-6.1-SOL);三条虚线是对照组,其中蓝色虚线就是直接用 Claude 的 Fable 5 思维链蒸馏出来的模型。大多数时候,实线压在共享同一份答案的虚线之上。

一、那道门,正在合拢

过去两年,AI 行业最激烈的一场暗战,从来不在榜单上——它只围绕一个问题:还能不能拿到最强模型的完整思维链。

先是 Anthropic 一方公开点名,指责中国模型公司「蒸馏」其输出;随后又宣布,针对蒸馏行为的打击已经达到90%–99%。再往后,DeepSeek 新发布的 Deepseek-V4.1-Flash-1017 被多方质疑蒸馏自GPT-6-Astra。紧接着,市场注意到一个耐人寻味的现象:一批中国模型公司,很久没有发布新的旗舰模型了。

没有官方解释,但圈内的猜测高度一致——如果不能再蒸馏,就不知道该拿什么训练下一代模型了。

这句话听起来像抱怨,其实是整个行业最不敢说出口的坦白:过去几年开源阵营的快速追赶,很大程度上建立在「看得见最强的推理过程」这件事上。而这件事,正在被闭源模型团队一行一行地关掉。

二、护城河从来不是模型权重


所有人以为护城河是模型权重。不是。

权重早就拿不到了,真正被卡住的是思维链——模型在给出答案之前的那段推理。过去,你可以调用最强模型的 API,拿到它完整的思考过程,然后拿来训练自己的小模型。这条路径便宜、干净、有效,几乎是算力落后 1–2 个量级的开源模型团队唯一能追上闭源前沿的方式。

现在,头部模型只回你一个答案,或者一段高度概括的摘要,推理过程被收走了。

理由写得很好听:安全、知识产权。但效果只有一个——你能学到的只剩「结果」,学不到「怎么想」。一个只给答案的老师,教不出会思考的学生。

而王琰在技术报告的摘要里,只用了半句话就把这套说辞掀翻了:

  • 这些团队自己,正是建立在蒸馏人类知识之上的——却不允许别人对他们做同样的事。
  • ——技术报告摘要,原文还附了一句「这有点讽刺」

这不叫保护,这叫把后来者的梯子抽走。

三、有人试过 hack,但 hack 不是正规途径


开源模型团队当然没有坐等。此前已有工作证明:供应商返回的加密 reasoning block 在不同模型之间是可互换的,只要回放得当,就能把被隐藏的思维链原样还原出来。

但针对这类 hack,官方已经部署了防御。Anthropic 在 2026 年 10 月 12 日的官方说明里写道:它已阻止较早的模型读取新款模型的受保护推理,并会持续封堵新的绕过方法——其中被点名封堵的,正是「在模型之间搬运 reasoning block」这条老路,也就是上面那篇论文用的手法。官方称,这些措施已把被蒸馏走的数据量压低了90%–99%

技术上,它「曾经」成立;合规上,它从来不成立——它直接违反了 API 的服务条款。以 Anthropic 为代表的闭源模型团队长期指责开源模型团队公然违反使用协议,建立或收购大量账号用于蒸馏。而现在,技术上也不成立了。笔者一位身处基模团队的朋友的原话是:基本上蒸馏 Claude 已经不可能了。

所以真正的问题是:有没有一条既能拿到思维链、又完全合法的路?

四、他给出的另一条路:不要你的推理,我自己写


王琰的答案,是一份叫TraceForge的技术报告,思路朴素得近乎冒犯——

既然拿不到你的思维链,那就自己生成一条。

方法叫family-native trace(原生思维链)。它不去还原老师的推理,而是让模型学会「像自己家族那样思考」:

  • 用同族模型(Qwen3.8-Max)自己写的一万条真实对话训练一个生成器,把其中的思维链遮住,让模型根据上下文和答案把它重新写出来;
  • 训练一个判别器,专门分辨「这是真轨迹还是生成轨迹」,参数量不低于生成器;
  • 两者进行五轮在线对抗:骗过判别器的样本拿去训练判别器,没骗过的拿去做偏好优化。



关键的一点是:整个训练过程里,没有任何一个 Claude 或 OpenAI 的 token 被送进梯度。训练数据全部来自允许合法蒸馏的同族模型。

老师在这套流程里只做一件事:提供一个答案。剩下的思考过程,学生自己写。

五、数字摆出来,故事就结束了


在同一批 5,000 条题目、同一套训练配方下,用 Qwen3.5-9B-Base 做学生,每个对照组各训 5,000 条样本,最终成绩是这样的——



三个结论,每一个都足够刺眼:

  • 它赢了「原版」。用自己生成的思维链,比直接蒸馏 Fable 5 的真实思维链,在 HumanEval+ 上高3.7分、MBPP+ 上高7.1分,而且 MBPP+ 的领先在每一个checkpoint 上都成立。

  • 它碾压了「同族最强」。拿 Qwen3.8-Max 自己的思维链和答案去训,反而比原生思维链低2135分。老师的能力是必要条件,但光有强老师不够——强老师还得用学生听得懂的语言讲课。

  • 它和「同行」不在一个量级。同样喂 GPT-6.1-SOL 的答案,只换合成器,一边是 59.15 / 60.05,一边是 3.66 / 6.61。差55 分和 53 分

更值得一提的是,在被要求「判定这条轨迹是否像真的」时,第三方裁判给出的平均概率是:真轨迹66%,生成轨迹经过对抗训练后68%,用判别器四选一之后82%

它不只是通过了检测,它比真的还像真的。

六、曲线里的三个秘密


回到开头那张曲线图,里面还藏着三个秘密。

第一个秘密:原版其实极不稳定。用 Fable 5 原生思维链训练的那组,在 600 步时 HumanEval+ 冲到 66.46,到 1,200 步却暴跌到,1,600 步又爬回 64.63。作者为排除评分错误,专门复跑了两次,分数纹丝不动。一个能自己修复的 33 分跌幅,不可能是噪声。他的解释是:老师的思维链风格与同族差得太远,模型为了把损失压下去,参数会被推离原来的分布很远;而偏离一旦过大,性能随之失稳。

第二个秘密:最难的开局,走出了最稳的曲线。原生思维链配 Fable 5 答案的那组,一路稳步涨到 68.29 和 59.52;而最戏剧性的是配 GPT-6.1-SOL 答案的那组:它一开始是五组里最差的(0.61 和 10.32),却是唯一在每一个checkpoint 上都上涨的一组,到 1,600 步时,两项平均已经反超原版。

第三个秘密:曾经辉煌过的两组,为什么崩了。另外两个对照组都有过高光时刻——同族最强模型自有数据那组,前 300 步就摸到 48.78;前人合成方法那组,900 步时也有 21.95 和 42.59 的局部高点。但最终,两组都趋于平庸。翻看输出,罪魁祸首很清楚:dead loop 和无意义重复越来越多——一句话换个说法又冒出来,算过的结果反复重算,训得越久症状越重。

关于造成这些现象的原因,作者在原文中进行了仔细分析,感兴趣者请移步原文。

七、还有更狠的一步


技术报告的后半段,给出了一个让法务部门睡得更香的方案。

如果仍有团队担心「使用 Claude 或 OpenAI 的答案」本身存在风险,那就把这个环节也去掉:

  • 先用生成器写出原生思维链,把它交给同族里允许蒸馏的最强模型,让来写答案;再拿「思维链 + 这个答案」组成完整的训练数据。

结果是什么?从头到尾,没有任何一个闭源厂商的 token 进入梯度计算。法律风险、来源质疑、蒸馏痕迹,一起消失。作者称,他们实际跑过这个变体,效果与主实验基本一致。



八、这个人是谁


这是王琰成为独立研究员之后发布的第三项研究工作。

王琰,前腾讯混元 Frontiers & AI Lab NLP、米哈游研究科学家,长期研究长上下文模型架构与长期记忆系统,曾获ACL 2021 杰出论文奖与 IEEE Transactions on Games 最佳论文提名。

前两项,一项是用于超长上下文的前瞻注意力机制,另一项是一套能把DeepSeek-V4 吞吐量提升三倍的推理框架。加上这次的思维链合成系统——一个人,五个月,横跨三个领域,「全栈」这个词用在他身上并不算夸张。

技术报告还附了一个可直接调用的 API,提供方是 ALLE AI Lab,一支来自香港科技大学(广州)的创业团队;其创始团队成员李佳,是王琰在腾讯 AI Lab 时期的同事。目前 API 只开放 Qwen 家族的思维链,其他家族的轨迹将陆续上线。

他也在小红书上(ID:9670415842)随手记录一些尚无定论的判断,粉丝管这些叫「暴论」,也因此戏称他是「最有活人感的 AI 研究员」。

九、被动的不是某家公司,是一个假设


这份报告真正动摇的东西,不是某家公司的财报,而是一个被默认为前提的假设:

藏起思维链,就能锁住能力。

如果答案已经足够重建一条可用的推理路径,而且这条路径还能在学生的语言里写得比原版更好,那么「隐藏思维链」这道墙,保护的不是安全,而只是一点点时间。

附:关于这份技术报告

  • 标题TraceForge: Distilling with Your Own Thinking
  • 作者:Yan Wang(独立研究员)
  • 底座:Qwen3.5-9B-Base;生成器与判别器均为 Qwen 家族模型
  • API 支持:ALLE AI Lab(https://alleai.cloud/cot/),目前只提供 Qwen 家族思维链,其他家族陆续上线

  • 说明:文中涉及的行业事件与团队背景均来自公开报道及业内传闻,本文仅作背景引用,不代表对其真实性的确认。技术结论以原报告为准,每个数据格均为单次运行结果。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄子韬公司被强制执行2040万元,是注册资本4.5倍,他视频账号近30天粉丝流失超53万

黄子韬公司被强制执行2040万元,是注册资本4.5倍,他视频账号近30天粉丝流失超53万

大风新闻
2026-10-23 15:37:02
风暴已经出现,中国不得不面对!40年来从未出现的四种情况已到来

风暴已经出现,中国不得不面对!40年来从未出现的四种情况已到来

影孖看世界
2026-10-17 21:54:52
弹劾只差一票落败!莎拉强势闯过难关,防长1%支持率沦为笑柄

弹劾只差一票落败!莎拉强势闯过难关,防长1%支持率沦为笑柄

失宠的小野猪
2026-10-23 15:36:30
毛主席的首任妻子罗一秀虽未被官方承认,1950年主席却为她特别破例!

毛主席的首任妻子罗一秀虽未被官方承认,1950年主席却为她特别破例!

微野谈写作
2026-10-23 16:30:05
9月日产暴跌60%,本田跌超50%,丰田大跌27%,日系车集体崩盘,退出中国市场只是时间问题

9月日产暴跌60%,本田跌超50%,丰田大跌27%,日系车集体崩盘,退出中国市场只是时间问题

起点财经
2026-10-22 15:57:56
杭特薛佛完成性别重置手术! 「被要求一天只能走150步」近况曝

杭特薛佛完成性别重置手术! 「被要求一天只能走150步」近况曝

ETtoday星光云
2026-10-21 10:23:03
中国网友和土耳其网友骂战升级!有人给支招,羞辱中国国足,果然画风大转

中国网友和土耳其网友骂战升级!有人给支招,羞辱中国国足,果然画风大转

小徐讲八卦
2026-10-23 09:27:43
1979年,贺子珍终于抵达北京,她与毛主席拍下了最后一张合影!

1979年,贺子珍终于抵达北京,她与毛主席拍下了最后一张合影!

海佑讲史
2026-10-20 23:16:14
体制内“女儿国”现象越来越严重,领导吐槽:工作都不好开展!

体制内“女儿国”现象越来越严重,领导吐槽:工作都不好开展!

番外行
2026-05-21 16:05:31
30岁就打不动了?拿600万全场8中1,球迷:赶紧退役,又菜脾气又大

30岁就打不动了?拿600万全场8中1,球迷:赶紧退役,又菜脾气又大

弄月公子
2026-10-23 10:57:59
朱可夫晚年吐露:1951年苏联援华军火数量大得惊人,多年后他才说出那批物资背后不为人知的内情?

朱可夫晚年吐露:1951年苏联援华军火数量大得惊人,多年后他才说出那批物资背后不为人知的内情?

回京历史梦
2026-09-25 18:25:33
马斯克:如果今天我破产了,绝对不会去找工作,而是去做一件能快速产生现金流,并且可以复制放大的事

马斯克:如果今天我破产了,绝对不会去找工作,而是去做一件能快速产生现金流,并且可以复制放大的事

元气科技馆
2026-10-09 16:59:28
72岁成龙亲自开车过关!看清车牌那一刻,网友彻底沸腾了

72岁成龙亲自开车过关!看清车牌那一刻,网友彻底沸腾了

陈意小可爱
2026-10-22 07:40:48
炸裂首秀!你好,浓眉哥!再次点燃NBA交易市场

炸裂首秀!你好,浓眉哥!再次点燃NBA交易市场

篮球实战宝典
2026-10-22 22:00:43
经济下行,2027、2028、2029,未来三年的忠告

经济下行,2027、2028、2029,未来三年的忠告

生活新鲜市
2026-10-16 03:36:43
神木问界事故139.1km/h车速遭质疑,车主调取EDR数据门槛在哪?

神木问界事故139.1km/h车速遭质疑,车主调取EDR数据门槛在哪?

据说说娱乐
2026-10-23 08:51:21
辽宁省委书记:这次李忠同志来辽宁任职,充分体现了党中央对辽宁省委班子建设的高度重视和亲切关怀、对辽宁振兴发展的悉心关爱和大力支持

辽宁省委书记:这次李忠同志来辽宁任职,充分体现了党中央对辽宁省委班子建设的高度重视和亲切关怀、对辽宁振兴发展的悉心关爱和大力支持

政知新媒体
2026-10-23 00:13:08
A股:突然加速上涨,原因是这两点,下周行情或要这样走了

A股:突然加速上涨,原因是这两点,下周行情或要这样走了

明心
2026-10-23 15:21:01
金晨现身西安,生图脸浮肿嘴巴歪斜,被身旁的170cm央视主持抢镜

金晨现身西安,生图脸浮肿嘴巴歪斜,被身旁的170cm央视主持抢镜

娱说瑜悦
2026-10-22 17:10:31
收拾行李吧特朗普!美国民权领袖公开发难:白宫即将收到驱逐令!

收拾行李吧特朗普!美国民权领袖公开发难:白宫即将收到驱逐令!

基斯默默
2026-10-23 11:02:55
2026-10-23 17:08:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14277文章数 142750关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

26岁女艺人凌晨道歉:承认与粉丝私联 但否认亲吻上床

头条要闻

26岁女艺人凌晨道歉:承认与粉丝私联 但否认亲吻上床

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

黎纪君晒与刘恺威合照 恋情后首次同框

财经要闻

叫"保障"不叫"保险":租车平台的文字游戏

汽车要闻

全球首款增程越野皮卡 长安猎手K70上市19.29万元起

态度原创

房产
健康
本地
亲子
公开课

房产要闻

租金大跳水!荒了6年,海口这个地标商业,开始急了!

痘痘能根治吗?皮肤科医生说实话

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

亲子要闻

辅酶q10备孕提前多久?47岁卵巢功能衰退怎么调理?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版