北京
如果同一个模型，在一个数据集上准确率是90%，换一个稍微改动的测试集就掉到73%，那它到底有多强？这个问题，连计算机科学家莫里茨·哈特也说自己没有答案。
哈特是马克斯·普朗克智能系统研究所的主任。他在2026年出版的《机器学习基准测试的新兴科学》一书中提出了一个尖锐的判断：基准测试是"让机器学习犯下的错误"。在他看来，这套衡量AI的体系已经坏了很多年。
基准测试的逻辑其实很简单。把数据分成训练集和测试集，训练集上模型开发者想怎么用就怎么用，测试集只用来排名——谁是第一，谁是第二。哈特说，第一个基准测试诞生于1959年，是一组印在打孔卡上的数字和字母，用来测试不同扫描仪识别字符的能力。有人引入了训练-测试分割，搞出了排行榜。没有谁做过顶层设计，但这就是后来被称为基准测试的东西，它当了大约60年AI进步的引擎。
问题出在测试集的使用方式上。任何机器学习教科书都会讲"留出法"：测试集应该锁起来，只用来排名一次。但哈特指出，整个学科直接无视了这条警告，把所有测试集放到网上供所有人使用。测试集很容易被放进模型的开发循环里反复迭代。
这就导致了一个尴尬的结果：绝对数字没有意义。哈特说，如果模型在一个数据集上90%，另一个上73%，他完全不知道这个模型到底有多好。科技公司拿这些分数宣传模型的推理能力，在他看来是误用——说"模型在这个数学基准上得了90%，所以它等同于一个专家级数学家"，是从数字里读出了错误的结论。
那为什么机器学习没有陷入可复现性危机？哈特给出了一个出人意料的解释：因为排名是稳定的。不看绝对数字，只看模型之间的相对比较，这些排名在不同数据集上往往非常一致。一个模型在某个测试集上90%，另一个80%，那90%的那个在真实世界里通常也更好用，哪怕换一个差别很大的数据集。这是机器学习逃过科学危机的主要原因。
但哈特强调，这件事能成，靠的是运气。我们至今没有一个好的理论来解释为什么排名会稳定，这基本是一个经验现象。
更麻烦的是，到了大语言模型时代，这个"偶然的可靠性"也保不住了。排名稳定的前提是模型在同一个训练集上训练，过去这总是成立。但现在没人知道大语言模型训练用了什么数据，模型开发者可以策略性地拼凑数据组合来最大化基准表现。哈特把这比作高中生的应试备考。
他举了一个观察：看最新版Gemini或GPT的发布说明，新模型在它发布之前就存在的基准上表现往往好得惊人，而在发布之后不久才出的基准上表现差很多。这通常说明模型在早期基准上做过"后训练"，也就是所谓的"benchmaxxed"。哈特说，这不算犯罪，而且普遍被接受。
出路在哪里？哈特讲了一个故事。1968年墨西哥城奥运会，一位美国跑者被普遍看好赢得1500米比赛，却大比分输给了一位来自肯尼亚高地的选手。那位肯尼亚选手在高海拔训练，更适应7500英尺的比赛环境。当时有争议：要不要禁止高原训练？最终共识是，让所有人都练。
哈特认为，问题不在于人们针对基准做优化，而在于优化的程度不同。如果所有人都优化，绝对数字会膨胀，但排名的有效性可以恢复。具体做法是：不再有训练集，只有测试集，外加一套在测试前准备每个模型的协议——这就是AI基准的"高原训练"。我们事先不知道模型用了什么数据，但可以在基准相关数据上对它们做一点训练，至少让起跑线更平一些。
不过哈特也承认，即便这套方法奏效，也只是回到原点：有进步指标，没有有效测量。这背后有一个让他觉得遗憾的事实——基准测试的胜利，似乎意味着我们放弃了科学真正要做的事：理解机制。如果我们有一套宏大的数学理论来构建这些模型，就不需要基准了。我们不知道这些模型是怎么工作的，基准测试也不会告诉我们。
但哈特并不悲观。他提到CASP蛋白质折叠基准，它在没有先建立蛋白质折叠科学理论的情况下推进了科学。在他看来，这正是基准测试在科学中的悖论式力量。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
