网易首页 > 网易号 > 正文 申请入驻

陶哲轩捅破AI窗户纸:千亿模型就靠两样老数学,高中底子够用

0
分享至

ChatGPT每次回答你一个问题,背后要烧掉的电,够一个普通家庭用上大半天。

可陶哲轩偏说,这玩意儿底层的数学,高中课本里都写过。

不是玩笑。这位菲尔兹奖得主把大模型拆了个底朝天,结论就一句话:核心只有两样东西——微积分,矩阵乘法。

先别急着关页面。你可能觉得数学离你很远,但今天这篇,是让你以后再看到“AI黑箱”“神经网络玄学”这种词时,心里能稳如老狗。

咱们把这事儿聊透。



模型训练,说白了就跟你教小孩认猫认狗一个道理。

第一次它把猫认成了狗,你怎么办?你会说“错了,这是猫”。模型也一样,它算出一个答案后,会跟自己比对——差了多少,错在哪儿。

微积分在这时候登场了。它的作用就一个:算出来每个参数对这次错误“贡献”了多少。

打个比方,你有一千个旋钮,模型答错了题。微积分帮你算出,第三个旋钮往左拧半圈、第七个旋钮往右拧一圈,下次答对的概率最高。这个过程叫梯度下降,名字听着唬人,其实就是下山找最低点——哪儿坡最陡就往哪儿走,走到谷底就停。



那矩阵乘法呢?更直白。

你把模型想象成一个巨大的Excel表格,里面密密麻麻全是数字。你输入一句话,也变成一行数字。两个表格一乘,出来新的数字,再往下一层乘,一层一层叠上去,最后吐出一个答案。

就这么回事。

你说“苹果手机好用吗”,模型先把这句话转成一串数字向量,跟第一层参数矩阵做乘法,得出中间结果,再乘下一层——重复几十上百次,最后输出“苹果手机在系统和生态方面有优势”。



它为什么知道“苹果”既可能是水果又可能是公司?因为矩阵乘法在计算时,会自动把“苹果”这个词跟周围词的关联度算出来。周围是“手机”“iOS”,它就往科技方向靠;周围是“甜”“好吃”,它就往水果方向走。

注意力机制听起来高级,拆开看,也就是两个矩阵相乘,算词跟词之间的关联权重,再加权求和。

到这里你可能会问:就这?那为什么大模型这么难搞?

答案不在数学,在规模。



一个千亿参数的大模型,做一次前向计算,矩阵乘法的次数是天文数字。训练它,要把海量数据反复喂进去,每一步都算梯度、调参数,循环几百万次甚至上亿次。

你拿纸笔也能模拟一个小模型。三层矩阵,手动调参,跑一个玩具版聊天机器人出来,一个周末足够。但要让它在真实场景里好用,参数量、数据量、算力,三个量都得往上堆。堆到一定程度,效果就自然涌现出来了。

这不是数学的胜利,是工程的胜利。

所以那些把AI说得神乎其神的科普,要么是没搞懂,要么是故意让你觉得“你不配懂”。



陶哲轩的意思很明白:底子就这点东西。微积分管优化,矩阵乘法管计算,两样配合,一个负责调方向,一个负责出结果。模型卡住了学不动,是微积分在找原因;模型能说话能写文章,是矩阵乘法在硬算。

你真正该关心的,不是它背后有没有魔法,而是它这么算,什么时候会犯错、为什么会犯错。

看完这些,再有人跟你说“只有博士才能搞懂AI”,你可以告诉他:原理层面,高中底子够用了。复杂的是规模,是数据量,是算力成本——但这些是钱和时间的问题,不是智商的问题。

想上手试试?装个Python,跑几个矩阵乘法,写个简单的梯度下降调参demo,一个下午你就能看到模型从瞎猜变成猜得有点准。

那一刻你大概会跟我一样,觉得所谓的人工智能,其实挺实在的。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
禁用“日本鬼子”一词,究竟动了谁的蛋糕,为啥有这么大的争议?

禁用“日本鬼子”一词,究竟动了谁的蛋糕,为啥有这么大的争议?

世界有奇事
2026-10-12 16:01:15
江西省农业厅副厅长曹爱珍:仅5年从教师晋升副县长,耀眼明星终落马

江西省农业厅副厅长曹爱珍:仅5年从教师晋升副县长,耀眼明星终落马

十为先生
2026-09-11 14:18:51
性学专家说:女人爱不爱你,根本不用试探,看清私密这一点就够了

性学专家说:女人爱不爱你,根本不用试探,看清私密这一点就够了

荔子言
2026-10-15 10:30:10
「尊界V800」又翻车了!

「尊界V800」又翻车了!

葱哥说
2026-10-13 23:09:17
突然宣布二胎,高调晒出照片,热搜炸了:你俩居然还没离婚?

突然宣布二胎,高调晒出照片,热搜炸了:你俩居然还没离婚?

LULU生活家
2026-08-28 20:08:31
10块钱土豆逼得2娃宝妈跳河自尽,那个多平台网暴发“避雷帖”的女人却还在假装无辜

10块钱土豆逼得2娃宝妈跳河自尽,那个多平台网暴发“避雷帖”的女人却还在假装无辜

少爷写春秋
2026-10-14 20:26:51
中国只有这7座真正的国际大都市,其他城市别再争了,差距太大!

中国只有这7座真正的国际大都市,其他城市别再争了,差距太大!

心若琉璃说
2026-10-15 06:45:06
我们正在见证一场社保史上的“绝版奇迹”

我们正在见证一场社保史上的“绝版奇迹”

逍遥论经
2026-10-15 10:42:30
乌克兰指责美国帮俄罗斯:星链突然被限速、没收到导弹预警

乌克兰指责美国帮俄罗斯:星链突然被限速、没收到导弹预警

澎湃新闻
2026-10-15 10:46:26
1.25亿先生破荒之战戴帽,利物浦6-3欧冠大捷,刷新34年队史纪录

1.25亿先生破荒之战戴帽,利物浦6-3欧冠大捷,刷新34年队史纪录

钉钉陌上花开
2026-10-15 04:20:26
这就是经济下行期的小三吗,时代变得我不认识了

这就是经济下行期的小三吗,时代变得我不认识了

再战五百回合
2026-10-13 09:11:43
广州同学聚会吃了16万6,请客的人付完钱先走,剩下的人却翻脸了

广州同学聚会吃了16万6,请客的人付完钱先走,剩下的人却翻脸了

诡谲怪谈
2025-06-09 08:45:42
别再花几千块买学习机了,有人做了个免费的:小学 1-6 年级全科,代码还开源

别再花几千块买学习机了,有人做了个免费的:小学 1-6 年级全科,代码还开源

星哥玩云
2026-10-12 23:59:20
余承东尴尬了!智界RX“首月”销量379辆,对标YU7还有戏吗?

余承东尴尬了!智界RX“首月”销量379辆,对标YU7还有戏吗?

大厂财经社
2026-10-15 08:03:21
拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

兵鉴史
2026-10-14 16:15:35
一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

怪味历史连连看
2026-09-08 01:55:32
六盘水一男子百日宴与婚宴同时进行,关键女主是两个人

六盘水一男子百日宴与婚宴同时进行,关键女主是两个人

雨秋闲话
2026-10-15 10:40:25
彻底摊牌!欧盟抱团围剿星链,马斯克急着撇清关系

彻底摊牌!欧盟抱团围剿星链,马斯克急着撇清关系

老马拉车莫少装
2026-10-15 10:15:17
上海长鑫存储员工:技术岗,月薪税前5.7W,年终奖4个月

上海长鑫存储员工:技术岗,月薪税前5.7W,年终奖4个月

时尚的弄潮
2026-10-15 01:02:23
美媒爆:得知胡德堡枪击案罪犯下半身瘫痪,特朗普正考虑取消枪决直播计划

美媒爆:得知胡德堡枪击案罪犯下半身瘫痪,特朗普正考虑取消枪决直播计划

环球网资讯
2026-10-14 12:11:53
2026-10-15 12:19:00
呼呼历史论
呼呼历史论
分享有趣的历史
829文章数 18417关注度
往期回顾 全部

科技要闻

核弹院士彭先觉:可控核聚变 不必再等50年

头条要闻

高市"抱怨"不容易:早上要洗澡化妆 准备早餐收拾餐具

头条要闻

高市"抱怨"不容易:早上要洗澡化妆 准备早餐收拾餐具

体育要闻

五大联赛第二射手,开着11年前的二手车

娱乐要闻

陈小春弟弟被卖,多年不打扰另有隐情

财经要闻

洋餐饮的中国生意:红利消退后的集体交权

汽车要闻

不止大空间/纯电增程任选 小鹏MONA L05来了

态度原创

游戏
房产
艺术
旅游
公开课

《GTA4》IGN新评测5星!IGN最敬重的一集

房产要闻

突发!三亚超级万象城改规公示下架!

艺术要闻

天凉了,叶黄了,秋来了……

旅游要闻

红菇出山 红旅兴村 寺后村的振兴路

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版