网易首页 > 网易号 > 正文 申请入驻

姚顺雨现身Reddit答问两小时:混元后训练最难的问题,是过度思考

0
分享至


开源大模型的竞争,正在从榜单成绩转向开发者社区的真实口碑。

北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员出现在Reddit的r/LocalLLaMA社区,做了一场两小时的AMA(Ask Me Anything,随便问)。这是混元团队首次在开发者社区公开答问,共收到三百多条留言,话题从架构取舍一路覆盖到安全评测。

此前不到一个月,混元接连发布两款模型。11月4日的Hy4首次跻身全球最强开源模型之列,在第三方评测机构Artificial Analysis的智能指数榜单上位列中国模型第二,在Agent Arena榜单上居开源模型首位。一周多之后发布的Hy4 flash,定位为“日常工作的极致性价比模型”,单任务成本仅为Hy4的二十分之一。

九个月,两次发布

从时间节奏看:

  • 今年2月,混元重建预训练与强化学习基础设施,确立三项原则:能力体系化,不做偏科的模型。评测真实性,以真实任务而非榜单分数检验模型。性价比追求,让智能用得起、用得好。
  • 此后平均每两个月迭代一个大版本,以“preview先行、正式版跟进”的方式,把真实使用中的反馈持续引入研发。
  • 11月4日,Hy4发布,跻身全球最强开源模型之列。
  • 一周多后,Hy4 flash发布,单任务成本降至Hy4的二十分之一。

距离2月份的重建,只过去了九个月。

Hy4与Hy4 flash的分工,对应着两条路线。前者扩大模型尺寸与数据规模,探索智能上限,后者压缩成本,让日常任务用得起。

团队在答问中确认,下一代Hy模型的规模“一定会进一步显著扩大”。有开发者问及字节跳动和Kimi等公司正在推进3T甚至5T参数的超大规模模型,而混元仍在700B级,团队对此的回复是,Hy3和Hy4已经表明,做得扎实的较小模型,往往可以胜过更大的模型,而且成本更低,过程当中学到的东西也更多。

产品线的另一端,Hy4 mini已经在路线图上,35B-A3B档位的Flash-Lite被确认在推进,更小的开源图像模型在考虑之中,视频模型也有了新消息。对于端侧视觉理解,团队的判断是激活参数约30亿的A3B模型,已能承担理解截图与图表并展开推理的任务。

路线图上还有循环式MoE与持续学习的位置,前者得到的回应是“当然有可能,请持续关注”,后者正在积极研究。支撑研发的训练基础设施也在迭代,Hyra 3.0已在开发中。

取舍先于参数

被问到为何最终选择MLA而非GQA,团队披露了一段反复权衡的历史。MLA的计算强度明显高于GQA,在推理GPU上做推测解码时,瓶颈会落在算力上。但相同的KV cache大小下,MLA的模型质量优于GQA。引入DSA之后,解码阶段的计算强度被降下来,权衡的天平随之倾斜。

Hy4 flash的另几项设计,延续的是同一套取舍。SWA将KV cache降至原来的四分之一,服务成本显著下降。配合把64B Engram参数卸载到主机内存的设计,128GB以上配置即可流畅运行激活参数12B的模型。

有开发者列出一组稀疏度对比,Hy4 flash不含Engram为156B总参数、激活12B,激活比例7.7%。Qwen3.8-Flash为4.8%,DSv4.1低至2.9%。更高的激活密度对智能有多重要,团队的回答建立在规模阶梯实验上:激活参数量固定时,提高稀疏度能提升计算效率。但保持总参数不变、单纯削减激活参数,模型质量会显著受损,因为激活参数量本质上决定了计算预算。

过于稀疏的MoE架构,在团队看来对推理并不友好,占用大量显存却无法充分利用算力。相同吞吐量下,完全可以运行总参数相同、激活参数更多的模型。至于端侧,则是另一套思路,架构要与边缘设备的GPU硬件更紧密地协同设计。

量化方案的回答里,down投影因激活值存在离群点,对量化更敏感,会被分配更多比特,位宽依据Hessian敏感度选择。量化后路由器会随QAT一同训练以保持稳定,团队也更倾向全参数QAT,理由是模型质量更好。这组回答,是整场答问里工程细节最密的部分。

最难的是过度思考

被问及后训练阶段最难改善的行为,回复只有四个字,过度思考。Hy4追求智能上限,思维链过长是已知问题。解法带着产品闭环的色彩,把Hy4的长思维链蒸馏为高性价比的Hy4 flash,再通过强化学习为后者确保较短的思维链。

有开发者以写作为由发问,称一个模型如果把事情解释得更易读,会是自己从Qwen 3.8 Flash Next转过来的重要理由。团队回应称创意写作与可读性非常重要,正在作为重点改进方向,还补了一句“有时候,一个好例子比五段文字更有帮助”。对大模型写作能力普遍退化的观察,他们同样承认有所注意,认为可能与训练目标有关,希望模型写出来“更像人类,少一些套路化表达”。

对Hy4能否自主运行并发展出下一代模型,回应表示递归自我改进能力尚早,但已开发若干内部基准评估关键能力。被要求按Levels of AGI分级给Hy4定位时,团队成员给出的自评是2.5级。

技术问题之间,穿插着研发过程的回忆。从Hy3扩展到Hy4被形容为最困难的时刻,数据消融实验未达预期,训练开始时充满不确定性,“训练刚开始时,我相当紧张”。最终结果在团队的回忆里则是,“感觉就像把筹码全押上,结果真的赢了”。

把限制说清楚,也是一种开源

为负责任地开源,混元在训练中过滤了以漏洞利用和进攻攻击为主的网安数据,配合训练层面的拒答防护,并开展红队评估。有开发者质疑这会削弱防御方,限制逆向工程也伤及恶意软件分析与取证。团队给出的评估结论是,Hy4的漏洞发现能力较强,漏洞利用能力相对较弱。过度拒绝则被承认仍是重要的改进方向。

llama.cpp的适配正在推进,不久后会向社区发布。与vllm、sgl的合作也在深入。Hy4与Hy4 flash已在OpenCode、Claude Code和Cline中被广泛使用,答复具体到项目和工具名。答问中途还有开发者插播实测,Hy4 flash在其内部智能体编程与PR审查基准上成为首个满分模型,完成速度快于Qwen 3.8 Flash Next、GLM 5.3 Flash与DeepSeek V4.1 Flash。

至于为何不公布GPQA Diamond、SWE Bench等常见基准成绩,团队的解释是这些基准推出较早,分数已经饱和,他们展示的是Agents’ Last Exam、ProgramBench等更新的高难度基准。评测真实性原则,从内部信条变成了对外表态。

三百多条留言里,开发者关心的不只是跑分,真实任务表现、使用成本与生态适配被反复追问。开源模型的竞争维度,比榜单呈现的更宽。混元团队在两小时里呈现的优先次序是,先打牢基础,让模型在真实任务中更好用,再持续探索能力边界。

那些被亲口承认的未解问题,过度思考、创意写作、递归自我改进,构成了下一次迭代的路线图。九个月前,混元重建了预训练与强化学习基础设施。九个月后,两款模型与一场两小时的答问,构成了重建后的阶段性成绩。先把基础打牢,再探索边界。

剩下的,交给下一个版本。(本文首发钛媒体APP,作者|AGI-Signal,编辑|秦聪慧)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

上半年138.3万对离婚,民政局“不劝了”:40岁以后的分手,是算过账的

青科新闻
2026-11-08 11:25:23
真没想到,APEC峰会落幕不到1天,中国竟因三个“特产”火遍全球

真没想到,APEC峰会落幕不到1天,中国竟因三个“特产”火遍全球

壹知眠羊
2026-11-21 10:00:10
粉丝被叫“细狗”引热议,程Yooooo的互动方式该不该被接受?

粉丝被叫“细狗”引热议,程Yooooo的互动方式该不该被接受?

芳华青年
2026-11-18 17:16:17
42岁文章再提“我顺极了”:马伊琍越走越高,他把那个家走散了

42岁文章再提“我顺极了”:马伊琍越走越高,他把那个家走散了

无处不风景love
2026-11-20 16:47:52
三小时闭门开会!波切蒂诺初掌红魔太拼,连发布会都迟到

三小时闭门开会!波切蒂诺初掌红魔太拼,连发布会都迟到

带你逛体坛
2026-11-21 10:49:22
记者当面问:你是否愿为乌克兰牺牲,泽连斯基的回答的很巧妙

记者当面问:你是否愿为乌克兰牺牲,泽连斯基的回答的很巧妙

明天后天大后天
2026-11-21 10:46:25
红果当下最火3部短剧,榜首一集就把人看住了

红果当下最火3部短剧,榜首一集就把人看住了

乡野小珥
2026-11-20 03:04:06
入场时响起雷鸣般掌声!王毅微笑鞠躬致意

入场时响起雷鸣般掌声!王毅微笑鞠躬致意

看看新闻Knews
2026-11-20 01:38:17
原来马天宇这么爱吃瓜

原来马天宇这么爱吃瓜

财叔
2026-11-20 09:50:41
美国斡旋俄乌冲突,俄罗斯对北约让步?外媒:特朗普女婿公开回应

美国斡旋俄乌冲突,俄罗斯对北约让步?外媒:特朗普女婿公开回应

瑛派儿老黄
2026-11-21 10:57:14
甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

游民星空
2026-11-21 11:07:36
特朗普驻足鼓掌,高市早苗嘴巴O形:22首入场曲,藏着的外交巧思

特朗普驻足鼓掌,高市早苗嘴巴O形:22首入场曲,藏着的外交巧思

沧海一粟1155
2026-11-21 01:45:37
上海一保姆隐藏身份工作13年,业主发现她真正身份后,从30楼跳下去

上海一保姆隐藏身份工作13年,业主发现她真正身份后,从30楼跳下去

故事秘栈
2025-05-26 19:16:38
穆里尼奥也服了!皇马当年换帅封神!伯纳乌传奇才是最佳接班人

穆里尼奥也服了!皇马当年换帅封神!伯纳乌传奇才是最佳接班人

澜归序
2026-11-21 09:29:07
教育厅长直播当众检讨!江苏高中生每天熬15小时,重拳整治内卷

教育厅长直播当众检讨!江苏高中生每天熬15小时,重拳整治内卷

近史谈
2026-11-18 12:24:19
APEC峰会已经结束,各国都“收获满满”,为啥唯独不见莫迪的影子

APEC峰会已经结束,各国都“收获满满”,为啥唯独不见莫迪的影子

金戈远望
2026-11-21 11:20:03
浙江人有6个执念,外地人根本看不懂,第三条颠覆认知!

浙江人有6个执念,外地人根本看不懂,第三条颠覆认知!

林子说事
2026-11-21 00:37:44
警惕!MCN杀猪盘套路:专挑女大学生下手,完不成直播任务就逼陪客抵债

警惕!MCN杀猪盘套路:专挑女大学生下手,完不成直播任务就逼陪客抵债

拍案社会
2026-11-15 10:08:36
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
CCTV5节目表出炉!直播中国男篮与沙特的比赛,11月26日晚上九点

CCTV5节目表出炉!直播中国男篮与沙特的比赛,11月26日晚上九点

国篮会自强
2026-11-21 10:53:28
2026-11-21 11:55:00
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
142277文章数 862718关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
亲子
艺术
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

幼儿园不睡午觉还理直气壮?

艺术要闻

2026第七届民族美术作品展 油画选二

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版