大模型没有秘笈？腾讯混元四个月追平第一梯队，靠的是人

两个月前，从OpenAI空降腾讯的姚顺雨说了一句话："做大模型其实并没有什么秘密。"当时没几个人当真——一位顶级研究员说这种话，多少有点凡尔赛。

但上周混元4（Hy4 preview）发布后，回头再看这句话，味道完全不同。参数规模770B，支持百万上下文，距离上一代大版本发布不到四个月。更直白的是，混元4的官方文档里坦诚架构设计"受到DeepSeek和GLM启发"，注意力模块借鉴了DeepSeek的DSA与智谱的IndexCache机制。

这不是谦虚，是行业现状的如实描述。

一套正在收敛的骨架

要看清混元4的底牌，最直接的方法是翻开它的底层配置文件。当模型参数来到700B这一中大规模档位，各家面对的是同一道算力极限题。在混元4之前，国内在这个体量上真正跑通万卡训练并立住口碑的，是智谱今年2月发布的GLM-5（744B）。

相隔半年，同处700B量级，把两代旗舰的底层骨架并排摊开，重合之处一目了然：隐藏维度6144、78层、64个注意力头——这些决定Transformer主干网络深度、宽度和注意力并行结构的关键参数，几乎完全对齐。

当模型主干与稀疏注意力内部同时对齐，结论很清晰：同一个量级的大模型工程最优解，正在收敛。智谱用真金白银砸出来的"700B最优解"，因为开源，成了全行业公认的共识底座。对于急需突围的混元来说，没有理由绕开它重踩一遍坑。

技术迁徙周期被压缩到以月计

具体到架构，Hy4最核心的注意力模块，主干来自DeepSeek的稀疏注意力机制（DSA），同时叠加了智谱团队最新验证的跨层索引复用（IndexCache）。

这条技术路线的演进速度，本身就是行业变化的缩影。2025年9月，DeepSeek在V3.2-Exp中首次公开DSA——通过增加轻量级索引器，从长上下文中筛出真正值得关注的Top-K Token，避免每次计算都遍历全部历史信息。两个月后，DSA进入正式版，被列为核心技术突破。

接力棒很快到了智谱手里。今年2月，744B的GLM-5直接采用DSA，但智谱团队发现了一个隐藏成本：注意力虽然稀疏了，负责筛选Token的索引器却仍要在不同网络层反复运行。一个月后，IndexCache给出解法——相邻Transformer层最终筛出的Top-K Token高度重合，上一层刚算过，下一层直接复用。这个改动最高可以砍掉75%的索引器计算量，在GLM-5上完成生产级验证：削减50%索引器计算后，端到端仍取得约1.2倍提速。

从DeepSeek开源DSA，到智谱部署进GLM-5，再到迭代出IndexCache，最后出现在770B的混元4身上——不到一年时间，一项针对算力瓶颈的底层创新，完成了从概念提出、工程降本到全行业旗舰标配的完整闭环。

论文背后的人

技术接力只是故事的一半。另一半，藏在论文的作者栏里。

混元能在四个月里把长文本架构从295B的Hy3拉到770B的Hy4，靠的不只是公开论文，还有一个亲手把积木嵌进混元底座的研究员——白雨石。

清华姚班2022届本科毕业生，随后留清华计算机系读博，师从清华大学人工智能研究院知识智能中心主任李涓子；期间先后赴斯坦福、哈佛做访问研究，参与了唐杰、刘知远、Jure Leskovec、Ariel Procaccia等知名学者的研究项目。在入职腾讯之前，白雨石是智谱GLM-5这条架构线上的关键人物——今年2月GLM-5发布时，他在个人主页上的介绍是"GLM-5新模型架构（DSA）、架构改进以及强化学习适配的负责人"。

一个月后，他又以第一作者身份发布IndexCache，把GLM-5刚采用的DSA继续往前推进。当时他在智谱的身份还是实习生。

腾讯和他的交集开始得更早。今年1月，白雨石入选首届腾讯青云奖学金——面向AI前沿在校硕博的顶尖人才项目，全国仅15人，每人20万元现金加30万元云算力，并明确提供进入腾讯实习、就业的通道。为他颁奖的，正是刚接掌腾讯AI体系不久的"姚班"师兄姚顺雨。

时间线随后加速。7月3日，腾讯混元发布HiLS-Attention，一篇研究"无限上下文"的新型稀疏注意力论文，作者名单里已经出现Yushi Bai，论文归属机构包括Tencent HY Team。一个多月后，Hy4发布，白雨石的个人简介同步更新："Prev @Zai_org，currently scaling at @TencentHunyuan."

显性技术公开，隐性经验迁徙

论文完成了显性技术的公开，跳槽的天才们则推进了隐性工程经验的物理迁徙。

今天，任何能够被论文、代码和实验数据完整表达出来的技术优势，独占期都在急剧缩短。DeepSeek的DSA发布即成为行业标准模块，智谱的IndexCache不到五个月也被旗舰模型验证。连一篇实验论证的知乎热帖，半年后也并入了大厂的Model Card。

技术代差以月为单位消弭，人成了最后的护城河。姚顺雨那句"没有秘密"，说的不是技术不重要，而是技术已经藏不住了——真正能拉开差距的，是谁能最快把公开的技术变成自己的产品，以及谁手里有那个做过一遍的人。