网易首页 > 网易号 > 正文 申请入驻

姚期智和杨植麟给AI出了一张考卷:定理证明70%,但30道人类没解出来的猜想,AI一道都没独立做出来

0
分享至

GPT-6 Astra在一场“科研考试”里证明定理的成功率是70%,20道研究级命题做对了14道。第二名Kimi K3.1 Pro只有38.3%,剩下六个模型最高不超过11.7%。

同一张卷子的另一个部分,是30道人类至今没有解决的开放猜想。8个大模型代理合计只交出了2份被系统接纳的解答,而且这两份还是联网检索到OpenAI已经公开的反例之后改编出来的,不是独立发现的。其余28道,没有任何完整解决方案。

这不是“AI不会做数学”。这是一个更精确的信号:验证一个已有的证明,AI已经很擅长;发现一个人类还没找到的证明,AI还没找到那条路。



这张卷子为什么比以前的“数学跑分”可信:判分的是Lean内核,不是人

TCSExam由姚期智和杨植麟联合署名,11月5日挂在arXiv上,100道题全部经过领域专家审核研究价值。它和以前那些数学基准最大的区别不在题目难度,在怎么判分。

以前很多基准靠“大模型当裁判”,或者靠答案匹配。TCSExam把判分全部交给了机器内核:定理证明由Lean 4内核逐行校验,求解器在隐藏测试实例上跑可执行检查器,构造题要交出带验证证书的显式数学对象。“看起来合理”在这个基准里没有分数。

四条赛道对应的是理论计算机科学研究里四种不同的交付物:20道定理证明(从近年论文里摘出的研究级命题,只给命题本身,不给中间引理)、30道求解器工程(写可复用程序,在隐藏实例上跑)、20道构造(比如造一个满足特定条件的图或纠错码)、30道开放猜想(证明或推翻人类未解决的猜想)。以前的基准只覆盖其中一块,没有人把四块拼在一起,考一个完整的科研周期。



70%的定理证明是真的,但“做对14道”不等于“会做研究”

GPT-6 Astra的70%是在bare模式下拿到的:只给命题本身,不给任何中间引理或证明思路。20道研究级定理,它完整证明了14道。这是一个真实的工程能力:它能组织出一条没有逻辑漏洞的、Lean内核认可的完整推导链。

Kimi K3在构造赛道做了一件更具体的事:124个顶点、不允许三角形和四边形,它构造出了630条边的图,把人类参考纪录从629推到了630,并通过程序验证。多一条边听起来很小,但在极值图论里,每多一条边都意味着124个点之间的结构要重新满足全部约束。

Astra在开放猜想里也做了一次部分推进:它把Alon–Jaeger–Tarsi猜想在五元有限域上的已知证明范围从8维推到了9维,证明被整理成71个Lean模块并独立编译核验。但readaitime写得很清楚:“完整的Alon–Jaeger–Tarsi猜想仍未解决”。

“把已知边界往前推一格”和“独立走完从0到1的那段路”,是两种能力。前者AI已经能干活了,后者还差得很远。



一个被忽略的细节:给AI“递小抄”后,成功率跳了

TCSExam在定理证明赛道设了三档上下文:bare(只给命题)、ladder(给中间引理)、guided(再加证明思路)。

结果很说明问题。Kimi K3在bare、ladder、guided三档下分别至少完成3、4、7道不同定理;DeepSeek V4.1 Flash分别是0、2、6道。从bare到guided,完成数量翻了一倍多。

这说明AI卡住的地方,不在“写证明”这一步。给它一个关键引理,它能把证明补完;不给它,它自己找不到那个引理。科研里最难的那一步——决定往哪个方向走、找到那个让整条证明链成立的中间命题——恰好是AI目前最弱的一环。把这一步替它做了,它就能干活;不做,它就停在0。



我花了一个下午装Lean 4,跑通了人生第一个形式化证明

为了理解“Lean内核判分”到底意味着什么,我决定自己装一次环境。

按Lean官方推荐路径,装VS Code + Lean 4插件,插件会自动拉elan(版本管理器)。Linux上也可以一行 curl 装elan,然后把 ~/.elan/env 写进shell配置。整个过程大约15分钟,磁盘占用15GB左右,大头是mathlib依赖。

第一个证明简单到有点好笑:theorem one_add_one : 1 + 1 = 2 := by rfl 。rfl 的意思是“两边算出来一样,所以成立”。Lean的InfoView窗口会实时反馈:目标状态、当前假设、证明是否关闭。写对了,绿色的勾;写错了,红色的报错,告诉你在哪一步、哪个假设没被满足

这个体验和“让大模型写一段自然语言证明”完全不同。自然语言证明里,“显然”“易得”可以蒙混过关;Lean里,“显然”必须被展开成每一步都严格的推导。这也解释了为什么TCSExam敢把判分完全交给它:它不认“差不多”,只认“闭合”。

但装完之后我也理解了另一件事:Lean能验证一个证明是对的,它不能告诉你去哪里找一个证明。Astra的70%是“给它一个命题,它把证明链组织出来”;0/30是“给它一个没人解过的猜想,它自己决定往哪走”。Lean是裁判,不是向导。



0/30到底该怎么读:不是“AI无能”,是“发现还没被工程化”

第一种解释:有些猜想,AI没找到路。它在定理证明上能组织14条完整推导链,但在开放猜想上,连第一步该往哪个方向试,都没有稳定的策略。28道彻底空白,说明“探索”这件事还没有被变成可训练的搜索过程。

第二种解释:有些猜想,人类也不知道路在哪。开放猜想之所以开放,是因为领域里最聪明的人尝试了几年、几十年,也没找到证明或反例。用“AI也没做出来”去否定AI,和用“人类也没做出来”去否定人类,是同一种逻辑错误。

第三种解释:有些猜想,AI做了部分推进,但Lean不认“部分”。Astra把Alon–Jaeger–Tarsi从8维推到9维,这是一个可验证的、有价值的结果。但TCSExam对开放猜想的判分是二元的:完全证明或完全推翻得100,否则0。“推进了一步”在科研里算贡献,在这个基准的分数上不算解决。

三种解释放在一起,0/30的真正含义是:AI已经能“验证”和“执行”,但“发现”还没有被工程化。给它一个明确的命题,它能组织证明;给它一个中间引理,它能补完链条;给它一个需要自己定义“往哪走”的开放问题,它就停住了。



所以,AI做数学研究现在到底能用到什么程度

能用的地方,已经比大多数人以为的多。它能证明研究级定理(70%的bare成功率)、能写可复用的求解器、能构造出超过人类参考纪录的图论对象、能把一个已知猜想的证明边界往前推一格。这些不是“demo”,是Lean内核和程序检查器确认过的结果。

不能用的地方,也比营销话术里说的清楚。它不能独立解决一个开放猜想,不能在没有任何提示的情况下自己找到关键引理,不能在“往哪个方向走”这件事上替代研究者。0/30不是“AI永远做不到”,是“这件事还没有被解决”。

对普通人来说,最实际的判断是:如果你有一个已经有明确命题和验收标准的任务,AI可以帮你跑通推导和验证;如果你手里是一个连“该证明什么”都还没想清楚的开放问题,AI目前只能当“部分推进的辅助工具”,不能当“独立研究者”。

姚期智和杨植麟这张卷子最诚实的地方,不是它证明了AI有多强,也不是它证明了AI有多弱。它把“AI做科研”从模糊的叙事,拆成了四条可以分别打分的赛道,然后告诉你:在“验证”这条赛道上,AI已经跑起来了;在“发现”这条赛道上,它还在起点。

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
果然面相是不会骗人的,王诗龄就是个例子

果然面相是不会骗人的,王诗龄就是个例子

阿废冷眼观察所
2026-11-21 15:06:48
韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

韩国太狠了,让全国手机响铃 10.5 秒防高考作弊,高考期间共查出111起电子设备作弊

趣笔谈
2026-11-21 11:08:09
2004年,马加爵因高烧卧床,同班林某特意带回两份盒饭,在宿舍陪他吃饭聊天;没想到,正是那顿饭意外救了林某一命

2004年,马加爵因高烧卧床,同班林某特意带回两份盒饭,在宿舍陪他吃饭聊天;没想到,正是那顿饭意外救了林某一命

人生录
2026-11-22 09:08:32
炸锅了!革命卫队和伊朗总统罕见统一战线,要从穆杰塔巴手里夺权

炸锅了!革命卫队和伊朗总统罕见统一战线,要从穆杰塔巴手里夺权

乐享人生风雨
2026-11-22 14:58:19
排坛最新消息!名将颜妮大婚,中式婚纱上镜又美又飒,恩师郎平传来喜讯

排坛最新消息!名将颜妮大婚,中式婚纱上镜又美又飒,恩师郎平传来喜讯

南海浪花
2026-11-22 15:03:19
我东北人,在深圳吃过猪脚饭后,终于明白:为啥猪脚饭走不出深圳

我东北人,在深圳吃过猪脚饭后,终于明白:为啥猪脚饭走不出深圳

神牛
2026-11-21 21:58:25
康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

江东浪流史
2024-12-22 08:00:03
17年刑期临头,柯文哲庭上哽咽:当年不肯做副手,如今怕被关到死

17年刑期临头,柯文哲庭上哽咽:当年不肯做副手,如今怕被关到死

娱乐圈的笔娱君
2026-11-21 10:51:46
10胜6负,开拓者跌进附加赛,诺里只是比斯普利特运气好而已

10胜6负,开拓者跌进附加赛,诺里只是比斯普利特运气好而已

姜大叔侃球
2026-11-22 17:44:00
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
油价,早先一路猛涨,丝毫没有顾及普通百姓的感受,如今反转了!

油价,早先一路猛涨,丝毫没有顾及普通百姓的感受,如今反转了!

刘哥谈体育
2026-11-22 16:12:23
安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

极目新闻
2026-11-21 22:17:27
苹果这家Apple Store,今日正式关闭

苹果这家Apple Store,今日正式关闭

全是技能
2026-11-22 16:20:39
辽宁铁矿石到底多富?探明150亿吨够用80年,中国工业根基稳了

辽宁铁矿石到底多富?探明150亿吨够用80年,中国工业根基稳了

兴趣知识
2026-11-22 02:59:53
普京终于摊牌:俄乌战争最大搅局者不是美国,而是这个跟俄罗斯斗了200年的老冤家

普京终于摊牌:俄乌战争最大搅局者不是美国,而是这个跟俄罗斯斗了200年的老冤家

z千年历史老号
2026-09-23 17:17:11
余承东真难啊!刚说完“开车别睡死就行”,立刻就微博纠错

余承东真难啊!刚说完“开车别睡死就行”,立刻就微博纠错

ZAKER新闻
2026-11-20 18:35:14
突然暴涨!这张20元纪念钞,你也约过!

突然暴涨!这张20元纪念钞,你也约过!

天天纪念币
2026-11-22 09:59:10
回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

回顾:母亲协助男友两次强奸女儿,还叫女儿“别喊,忍着点!”

胡侃社会百态
2026-11-21 19:07:57
A股:股民坐稳扶好,不出意外的话,明天或迎一轮秋风扫落叶行情吗?

A股:股民坐稳扶好,不出意外的话,明天或迎一轮秋风扫落叶行情吗?

趋势清风侠
2026-11-22 13:20:26
扎心了!35岁股民哭诉2015年进场,反复操作亏近60万,靠家人还债,自述心态崩溃迷茫

扎心了!35岁股民哭诉2015年进场,反复操作亏近60万,靠家人还债,自述心态崩溃迷茫

火山詩话
2026-11-22 11:28:22
2026-11-22 18:55:00
阿鑫讲ai
阿鑫讲ai
专门讲解现阶段高热度的AI
134文章数 16关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

艺术
本地
房产
公开课
军事航空

艺术要闻

北京第一高楼差点落在丰台!丽泽“云柱”大楼!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版