北京
The Information今天报料，说张一鸣在字节大模型团队Seed的内部会上，表态不会把蒸馏当作提升 AI 模型能力的捷径，哪怕这会让自家的模型表现暂时落后于竞争对手。
据说这是他对其他员工主张可以转向蒸馏方案的主动回应。
The Information把相关原因推测为担心再次出现TikTok那样的地缘危机，属于合情但不合理。
我这么说字节可能也不爱听，就是真要算起账来，跟排在前面的GLM、Kimi、DeepSeek比起来，Seed在美国市场的调用量根本不够看，天塌了也是高个子先碰到头好吗⋯⋯
Z Finance提了一个点，字节Seed内部不只是禁止蒸馏美国的模型，连中国的开源模型也不让蒸，设置了硬检测机制。
国内市场总没有蒸馏禁令吧，说明字节并不是担心TikTok事件重演，纯粹是对技术路线的分歧做了选择，判断蒸馏会干扰自己这边的训练突破，不想被一时的榜单捆住手脚。
很经典的张一鸣延迟满足理论。
这里可以推荐一下DeepMind研究员姚顺宇在5月份对谈张小珺的那期播客（第140期），讲了很多关于蒸馏的业内研究，其中一个主要观点是，蒸馏的技术路线存在「知其然而不知其所以然」的代价，能做对题，但未必掌握了正确的解题思路，适合追赶，无法领先。
姚顺宇当时还点了字节，说豆包因为蒸得最少，所以模型很独特，算是交叉验证了吧。
在我看来，蒸馏是一个中性的手段，或者说属于学习手段之一，而不是唯一，就像同样是背单词，有人用间隔重复法，有人用词缀记忆法，有人用语境阅读法，不必分对错，用结果说话。
再说了，字节能不走蒸馏的路子，如果真的可以长期坚持下来，摸索出独有的训练路径，对于国产模型的大形势也是有好处的，选择越多，就一定主动在我。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
