网易首页 > 网易号 > 正文 申请入驻

Kimi少了一个天才少年

0
分享至


文 | 数智奔流,作者 | 熵野,编辑 | 沈校

10月15日,17岁的陈广宇在社交平台 X 宣布,自己最近已经离开月之暗面 Kimi 团队。

他没有解释离职原因和透露下一站去处,只感谢同事以及当初愿意雇用一个16岁年轻人的团队。他说,过去一年是自己迄今人生中最美好的时光。

但从他离职后的社交互动看,下一步的动向倒是有了痕迹。

Anthropic核心研究员Sholto Douglas在评论区祝贺他,问他原本去卡内基梅隆大学(CMU)的计划是否仍然不变,又邀请他去旧金山,与Prime、Base10等团队一起工作。陈广宇回复:“谢谢 Sholto!我正要去海湾区。”

Kimi团队研究者、论文共同作者Yulun Du则写道,他曾就陈广宇的决定与他进行过几次长谈。看到他离开“很难过,也很令人心碎”,但在这个年纪,尽可能探索和追随新的好奇心,可能是对他最好的选择。

2025年11月,16岁的陈广宇以实习生身份加入Kimi。不到一年后,他与张宇、苏剑林共同署名的 Attention Residuals 已经进入Kimi K3的架构。

外界记住了17岁的共同一作,Kimi留下的是一项被装进模型“地基”的技术。工牌上的经历很短,模型里的痕迹已经留下。


陈广宇的起点,和"天才少年" 四个字离得很远。

他2009年出生,没有奥赛金牌,没有跳级经历,也没有从小写代码的基础。2024年4月,读高一的他做了一个决定:暂停所有自己不喜欢的事。

他在博客里回忆,那段时间只想学计算机和人工智能。他学习大模型的方法,是把下载的论文上传给Gemini,再一遍遍提问。他在博客里把Gemini称作“导师”。

2025年5月,他在网上分享了一篇关于DeltaNet的技术博客,得到了DeltaNet关键贡献者之一杨松琳的回复。杨松琳当时正在麻省理工学院读博,同时也是线性注意力开源社区FLA的发起者。

随着这次互动,帖子被更多人看到,其中包括美国AI初创公司Tilde Research的CEO。对方主动约陈广宇通话,向他介绍公司正在做的项目。

据报道,陈广宇当时没有马上加入。他继续读论文、写代码,等到能够编写自定义的GPU计算内核,并把它用于训练,才去应聘。

那年7月,他独自前往加州帕洛阿尔托,开始了七周的实习。陈广宇后来回忆,自己每天在办公室待15个小时,和其他研究人员一起参与了内存优化混合专家模型MoMoE项目。

硅谷实习结束后,陈广宇收到了月之暗面的邀约。2025年11月,他加入Kimi团队,继续做模型架构研究。

今年1月,他在社交平台写下一个插曲:自己正和张宇研究一项很令人兴奋的模型架构改进,母亲打来电话祝他生日快乐,他才意识到,自己已经17岁了。

两个月后,AttnRes论文发布当天,硅谷半个 AI 圈被炸了出来。

OpenAI 联合创始人 Andrej Karpathy 评价,看来还没把 "Attention is All You Need" 这句话按字面意思理解透。特斯拉 CEO 马斯克在评论区留下一句 "Impressive work from Kimi"。

出圈之后,陈广宇在接受媒体采访时反复说"不要造神",希望外界看到的是团队共同完成的研究,以及它试图解决的底层难题。


AttnRes最初的想法和小规模实验,由苏剑林提出。看到初步结果后,张宇和陈广宇加入,在更大规模的模型上继续验证。

训练团队算了一遍账,认为这套方案在当时的训练环境下,还不够可行。苏剑林在复盘中用了一个很直白的说法:“说白了还是穷。”

要理解他们遇到的麻烦,可以把模型的多层计算想成一群接力做题的人。每个人做完一轮处理,都要把结果交给后面的人。

传统残差连接的做法,是将前面各层产生的信息不断相加。后面拿到的是合并后的结果,很难再单独挑出某一层的信息。

这类似于每个人都往同一份合并笔记里添内容,却没有保留一份可供随时查阅的逐层记录。层数越多,累加的信息越多,一些有用的早期信息也可能被冲淡。

AttnRes改变了这种做法:让后面的层能够参考前面各层的输出,根据当前需要决定侧重哪些信息。就像做题时可以回头翻不同人的笔记,把需要的部分找出来。

麻烦也随之而来。要随时翻到这些“笔记”,训练系统就得保存更多中间结果,还要在不同设备之间传输。新办法在小规模实验里有效,但放进大规模训练,还得处理显存和通信开销。

之后,陈广宇与张宇共同提出了Block AttnRes,也就是分块注意力残差。把上百层网络划分成若干区块,块内维持低成本的基础累加,只在块间做精细的注意力聚合,把显存复杂度从层数级降到了块数量级。

实验显示,只分成约8个块,就能找回全量版绝大部分性能,端到端推理延迟增量控制在 2% 以内。

Kimi团队在480亿参数的 Kimi Linear 架构上,用1.4万亿token实测,AttnRes达到同样效果,只需要基准模型约80%的算力。在GPQA-Diamond上拉升 7.5 分,Minerva Math涨3.6分,HumanEval涨3.1分。

2026年7月发布的Kimi K3总参数2.8万亿,是全球首个开放权重的3T级模型,AttnRes正是支撑它的底座技术之一。

陈广宇参与的另一项工作,是加速KDA的计算内核。

KDA是K3采用的一种线性注意力机制,处理长上下文时,能够降低部分计算和存储开销。陈广宇在离职帖中说,自己与张宇优化过它的内核,还尝试了各种可能的设计。

陈广宇离开前一个月,Kimi公布了新一轮全球人才招募。

9月9日,Kimi宣布招募7名无法被常规岗位描述定义的“Wild Card”人才,同时推出“穿越计划”。该计划面向校招生和实习生,不限专业、不限实习年级,也不把学历和资历作为主要门槛,优秀者可以获得期权。

这套招聘逻辑,和陈广宇的经历高度相似:先找到一个人,再决定他能解决什么问题;先看上限,再补齐岗位名称。

但这套机制也有代价。

非典型人才往往需要更高密度的交流、更快的反馈和更大的试错空间。他们不一定适应标准化的汇报线,也不一定愿意沿着传统职业路径留下来。公司能不能给出真实问题、足够算力、清晰的贡献归属,以及长期的选择空间,决定了这类人才最终是变成组织能力,还是只留下一个短暂的故事。

他在离职帖最后写道:“还有更多事情值得探索。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
APEC那9天,深圳人能白拿的福利我算清了

APEC那9天,深圳人能白拿的福利我算清了

辉哥说动漫
2026-10-18 04:15:20
中国VT-1的历史重现:韩国K-2坦克运到秘鲁参加阅兵,对方却不要了

中国VT-1的历史重现:韩国K-2坦克运到秘鲁参加阅兵,对方却不要了

陶慕剑地球观察
2026-10-17 10:52:56
变天!特朗普突遭重创!

变天!特朗普突遭重创!

财经要参
2026-10-16 07:37:25
党、政、军的接班人,毛主席在1971年选出来了,但只有他走到最后

党、政、军的接班人,毛主席在1971年选出来了,但只有他走到最后

简史档案馆
2026-10-18 11:05:04
国外发现“饿两天定律”,体重从138斤降到108斤,稳稳瘦下30斤

国外发现“饿两天定律”,体重从138斤降到108斤,稳稳瘦下30斤

健身狂人
2026-10-11 00:58:32
零容忍!CBA动真格了,官宣新赛季首张罚单,上海却依然平安无事

零容忍!CBA动真格了,官宣新赛季首张罚单,上海却依然平安无事

多特体育说
2026-10-17 22:51:37
律师揭秘卖淫5种“新模式”:健身房、剧本杀、上门厨娘都中招!网友:防不胜防

律师揭秘卖淫5种“新模式”:健身房、剧本杀、上门厨娘都中招!网友:防不胜防

一丝不苟的法律人
2026-10-16 12:40:23
黄奇帆:我上任重庆市副市长之初的7个遭遇战

黄奇帆:我上任重庆市副市长之初的7个遭遇战

砚田文化
2026-10-18 09:31:24
男子因诈骗羁押服刑七年 出狱后发现账户数十万资金仅剩6.43元 警方立案侦查

男子因诈骗羁押服刑七年 出狱后发现账户数十万资金仅剩6.43元 警方立案侦查

红星新闻
2026-10-17 15:35:24
闪评丨警惕高市诡计:表面说“继承立场” 实则为战犯招魂

闪评丨警惕高市诡计:表面说“继承立场” 实则为战犯招魂

国际在线
2026-10-17 20:11:06
太硬核了!女孩生理期聊天记录刷屏,男友回复“没遇到我之前你是咋过的”,一句话引爆舆论

太硬核了!女孩生理期聊天记录刷屏,男友回复“没遇到我之前你是咋过的”,一句话引爆舆论

火山詩话
2026-10-17 07:03:59
从主持人到“精神病”,49岁无妻无子的李维嘉,不再顾及所谓体面

从主持人到“精神病”,49岁无妻无子的李维嘉,不再顾及所谓体面

兵鉴史
2026-10-07 09:14:24
临死拉个垫背的,海牛0比4惨败辽宁铁人,或助力武汉三镇进军中甲

临死拉个垫背的,海牛0比4惨败辽宁铁人,或助力武汉三镇进军中甲

姜大叔侃球
2026-10-17 21:33:36
蒋万安正式确认,19日开会官宣卢秀燕出任竞总主委,系卢第三个主委!

蒋万安正式确认,19日开会官宣卢秀燕出任竞总主委,系卢第三个主委!

原来仙女不讲理
2026-10-18 10:58:05
贝克汉姆被曝可能成为国际足联主席,有望获欧足联支持;德国足协主席称“需要一位正直的、能恢复协会声誉的人”

贝克汉姆被曝可能成为国际足联主席,有望获欧足联支持;德国足协主席称“需要一位正直的、能恢复协会声誉的人”

极目新闻
2026-10-18 10:32:09
男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

温情邮局
2025-08-22 11:56:14
当6.5%的人拿走四成:一张养老金账单背后的制度追问

当6.5%的人拿走四成:一张养老金账单背后的制度追问

金融科技一线
2026-10-10 08:53:24
懂车帝回应“黑尊界”传言,一切都反转了!

懂车帝回应“黑尊界”传言,一切都反转了!

财经三分钟pro
2026-10-15 17:00:19
现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

谢鵑解说
2026-10-14 11:39:22
让灵活就业人员贷款交社保推出“社银贷”,真荒诞!

让灵活就业人员贷款交社保推出“社银贷”,真荒诞!

A活着
2026-10-17 10:31:54
2026-10-18 11:40:49
钛媒体APP incentive-icons
钛媒体APP
独立财经科技媒体
140636文章数 862676关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

00后女演员被传与郭麒麟结婚 曾出演电视剧《赘婿》

头条要闻

00后女演员被传与郭麒麟结婚 曾出演电视剧《赘婿》

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

曝郭麒麟与25岁知名女星已经结婚,女方回应关系

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

手机
本地
数码
健康
公开课

手机要闻

荣耀WIN 2系列手机官宣搭载荣耀鸿燕通信,配备全新自研射频增强芯片HONOR C3

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

数码要闻

英伟达官方平台下架RTX 5090 零售商正加速清库存

看着很健康的人,怎么会突然猝死?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版