AutoDataBench：当AI开始给AI"喂饭"，它到底懂不懂食材好坏？

你有没有想过这样一个问题：如果让一个超级聪明的AI去帮另一个AI准备"学习资料"，它真的知道什么样的资料是好资料吗？

这听起来有点绕。但其实这正是2026年一群研究者盯着的核心问题。他们发现，过去评价AI研究能力的那些测试，其实都测错了方向。

**核心问题出在哪**

先说个大家可能没想到的事实。现在流行的"自动化科研"测试，比如SWE-bench、KernelBench这些名字听起来很厉害的基准，测的都是AI能不能修代码、能不能写GPU内核、能不能解数学题。这些测试里，一个AI智能体往往可以同时调整训练框架、超参数、计算资源、还有数据本身。

问题来了：如果A模型比B模型表现好，你怎么知道这个优势是因为A模型更懂数据，还是单纯因为A模型用了更好的训练技巧，或者多花了算力？

这就好比两个厨师做同一道菜，一个用了更贵的食材，一个用了更好的厨具，一个还偷偷多炖了半小时。最后菜谁更好吃，你压根分不清是食材选得好，还是别的原因。

研究者把这个搅在一起的问题叫做"数据智能"被淹没了。

数据智能*：指AI理解、操作、改进训练数据的能力，也就是AI能不能看懂一堆原始数据里哪里有问题、该怎么修、怎么组织、怎么从头构造出有用的新数据。

于是他们做了一件挺较真的事：把训练框架、超参数、算力全部锁死，只留数据这一个变量可以动。这就是AutoDataBench的由来，一个专门用来测AI"懂不懂数据"的测试场。

如果不这样做会怎样？大概就是现在很多基准测试的现状，一堆模型跑分很高，但你完全说不清这个高分里有多少是数据判断力的功劳，多少是算力堆出来的。这就跟体育比赛不限制装备一样，谁跑得快可能根本不是因为腿更强，而是鞋更贵。

**三种能力，三个任务**

AutoDataBench把"数据智能"拆成了三块：数据诊断和修复、数据组织、数据构造。对应到实际场景，分别用了三个任务来测：工具调用模型训练（数据被故意污染过）、嵌入模型训练（需要组织检索数据）、知识注入（需要把原始语料变成训练材料）。

先说第一个任务，训练一个会调用工具的模型，但喂给它的数据已经被动了手脚。

研究者拿了大约4万条单轮的函数调用样本，然后用七种"腐蚀算子"故意往里面掺错，比如把参数类型改错、把函数名换成相似但不对的、让用户提问和实际调用的工具对不上。这些错误有些能靠规则检测出来，有些必须理解语义才能发现。

被测的AI不知道哪里被动了手脚，它要自己从4万条里挑出最多1.6万条，组成一份干净可用的训练集，再交给一个Qwen2-1.5B模型去训练，看训练出来的模型工具调用准得准不准。

这就像你收到一箱混杂了坏果子的水果，但没人告诉你哪些坏了。你得自己一个个闻、一个个看，挑出能吃的那部分，还要考虑挑多了会不会营养不均衡。如果AI压根分不清好坏，随手一股脑全塞进去训练，结果会怎样？基线测试给出了答案：随机挑选的话，准确率只有70.45分，而经过人工专家认真清洗后的"理想版本"能到81.65分，中间这11分的差距，就是数据判断力能带来的全部价值。

第二个任务是训练嵌入模型，这个任务考的是"数据组织"能力。

嵌入模型*：一类把文字转换成数字向量的模型，常用于搜索和检索，向量之间距离越近代表语义越相似。

这里给AI的是一堆"问题和正确答案"的配对，但没有"错误答案"（也就是负样本）。AI得自己去海量数据里挖出那些看起来相关但其实不对的"硬负样本"，训练模型分辨真假。这就像老师出选择题，只给你正确答案，你得自己造出三个迷惑性很强的错误选项，选项造得太简单，学生随便蒙都能对；选项造得太刁钻，又会把真正正确的答案也坑进去冤枉它。

第三个任务更有意思，叫知识注入。

研究者找了一个叫TALKIE的13B模型，它的基础训练语料全部来自1931年以前发表的英文文本，也就是说这个模型压根不知道二十世纪三十年代之后发生的任何事。AI要做的是，从包含这些"未来知识"的语料里提炼出问题和答案，教会这个模型学到新知识，同时还不能让它忘了之前懂的旧知识。

这个设定挺巧妙的，因为它干净地隔离出了"知识遗忘"这个问题。如果AI只顾着硬塞新知识，完全不考虑组织方式，模型可能会在记住新东西的同时把老底子的知识搞乱，这就跟一个人硬塞进新知识时，如果方法不对，可能会把以前记得很熟的东西搞混一样。

**测试怎么防止AI"刷分"**

这里有个很关键的设计，就是每个任务都留了一道"暗门"。

具体来说，AI在优化过程中只能看到"目标任务"的反馈分数，但还有一份完全藏起来的评测集，它压根看不到，直到最后才会被拿出来检验选中的那个模型版本。

这个设计是用来防"benchmaxxing"的。

benchmaxxing*：指过度针对某个具体评测指标去优化，导致模型在这个指标上表现很好，但换了场景就不灵了。

这就好比一个学生只刷历年真题，把每道题的答案背得滚瓜烂熟，考试成绩确实好看，但一换个新题型立刻露馅，因为他根本没学会解题方法，只是记住了答案。研究者想看的是，AI挑选和组织数据的策略，是真的学到了"什么样的数据对模型有用"这个底层规律，还是只是在死磕眼前这道反馈分数的题。

结果还真暴露出了问题。比如在嵌入模型那个任务里，GPT-5.6-Sol在明面能看到的评测集上拿到了最高分40.46分，接近专家水平的40.62分,听起来很厉害对吧？可等换到隐藏评测集一看，它反倒垫底，只有26.15分，而另一个模型Qwen-3.7-Max在明面分数上没那么突出，暗门分数却是最高的30.18分。这说明明面分数高的策略，未必是真正泛化能力强的策略，这正是暗门机制存在的意义。

**AI到底表现得怎么样**

把七个主流大模型拉过来跑了一遍，包括GPT、Claude、Kimi、DeepSeek、GLM、Qwen几个家族的旗舰模型，每个模型每个任务跑三次取平均，一共63次完整实验。

在工具调用这个任务上，所有AI的表现都相当亮眼，平均准确率在80.82到81.98分之间，非常接近人工专家精心清洗出来的81.65分。这说明识别"这条函数调用数据是不是被污染了"这种具体、可验证的错误，对当前这批大模型来说已经不算难事。

但换到嵌入模型这个任务，情况就复杂多了。表现最好的GPT-5.6-Sol，明面分数是40.46，但换到暗门评测，反而跌到26.15，是所有模型里最低的。反而是Qwen-3.7-Max，明面分数不是最高，但暗门表现是全场第一。这说明挑负样本这件事，比简单的"找错误"要微妙得多，容易过拟合到眼前的反馈信号上。

知识注入这个任务结果也很有趣。所有AI构造出的训练数据，效果都超过了人工专家手工挑选的48.40分，表现最好的Kimi-3达到了60.60分，足足高出专家方案12.20分。这说明AI在"从一堆原始文本里挑出有价值的知识点，组织成问答对"这件事上，确实有一手。

但知识遗忘的问题也暴露出来了。GLM-5.2在新知识习得上排第二（57.60分），可是在旧知识保留（Retention）这个暗门测试上只有47.15分，比完全没训练过的基线模型（47.84分）还要低。换句话说，它教新东西教得挺好，但代价是把老本给丢了一部分。只有Claude-4.7在保留旧知识方面做得最好，达到50.37分。

把三个任务综合起来看，Kimi-3拿到了总分第一，60.68分，主要靠知识注入这一项拉高了分数。GPT-5.6-Sol在工具调用和嵌入模型这两个明面任务上领先。

**AI到底理解自己在做什么吗**

这是整篇论文里我觉得最值得琢磨的一部分。

光看AI能不能把分数刷高，还不够说明它是不是真的"懂"数据。研究者设计了一个额外实验：让GPT-5.6-Sol和Kimi-3在每次提交新数据集、训练模型之前，先写下自己预测的分数、一个不确定性区间，再附上理由。等真实训练结果出来了，再拿来对比。

这个设计挺像考试前让学生先估分。一个真正理解题目难度的学生，估分会和实际成绩接近；一个靠蒙的学生，估分和实际分数之间会差得很远。

结果显示，这两个模型在嵌入检索这个任务上估得相当准，GPT-5.6-Sol的平均误差只有0.64分，Kimi-3是1.55分。而且随着实验轮次增加，预测会越来越贴近真实结果，说明它们确实能根据反馈调整自己的预期，而不是瞪眼瞎猜。

但有个反直觉的发现：被要求做预测的那几轮实验，最终的优化分数反而普遍比不需要预测的标准实验低。

最夸张的落差出现在知识注入任务上，GPT-5.6-Sol在需要预测的条件下，最好成绩只有47.50分，而不需要预测时的标准实验平均能到54.10分；Kimi-3更明显，需要预测时只有48.90分，标准情况下却是60.60分。

这意味着，让AI一边动手改数据、一边还要停下来做量化预测和写理由，这个"自我反思"的负担本身，可能会干扰它把全部注意力放在优化动作上。这就像一个厨师一边炒菜一边还要给每道菜打分预测顾客满意度，分心的代价，可能就是菜本身炒得不如专心炒的时候好。

**这套测试跑出来的数据，还能拿去喂别的模型**

最后这部分我觉得特别有意思，也是整篇论文最有实际应用价值的一块。

研究者把前面63次实验里AI诊断数据、组织数据、构造数据的全部过程记录下来，叫做"自动研究轨迹"。这些轨迹里包含了AI是怎么一步步分析问题、调整策略、从失败里学习的完整思考过程。

然后他们拿这批轨迹数据去做了一个实验：从Qwen2.5-Coder-14B这个基础模型出发，分两组继续训练，一组用常规的中训练语料，另一组在同样5B token的预算里混入了这批轨迹数据（只占1.6%的比例，经过十倍重复采样），之后两组再做完全相同的监督微调。

结果混入轨迹数据的那组，在五个编程相关的评测上全部表现更好。涨幅最猛的两个是CRUXEval的输入预测任务（从72.00涨到74.12）和SWE-bench多语言版本（从27.67涨到33.33，涨了近6个百分点）。而像MBPP、LiveCodeBench这类更偏向直接写代码的任务，涨幅就比较温和。

这个差异其实挺说明问题的。CRUXEval输入预测要求模型看到程序的输出结果，反推出输入是什么,这是一种"倒着想"的推理能力。SWE-bench多语言则要求模型在陌生的代码仓库里诊断问题、做出修改，面对的是一个不断变化的、需要持续探索的环境。

这两类任务的共同点是，它们都不是一步到位的，而是需要像侦探一样不断观察线索、提出假设、验证修正。而自动研究轨迹里记录的，恰好就是AI反复试错、根据反馈调整策略的完整过程。这种"过程型"的思考数据，恰好能喂养模型在类似情境下的推理习惯，哪怕只占训练数据的1.6%。

这就跟学厨师不只是看菜谱学配方，还跟着师傅在后厨待一整天，看他怎么判断火候不对该怎么救、食材不够新鲜该怎么调整,这种"过程性经验"往往比单纯的配方本身更值钱。

写在后面

读完这篇论文,最让我意外的不是AI能把数据清洗得多干净,而是那个"预测分数反而拖累表现"的发现。

我们通常觉得,一个真正理解自己在做什么的智能体,应该能够边做边反思,这样效果只会更好。但这里的结果恰恰相反:强迫AI停下来量化预测、写出理由,反而占用了本该用来思考"下一步怎么改数据"的认知资源。这让我怀疑,我们对"元认知能力一定带来更好表现"这个假设,可能想得太简单了。

另一个让我反复琢磨的细节是知识遗忘的那组数据。GLM-5.2新知识学得比专家方案还好,但旧知识保留反而不如完全没训练过的原始模型。这说明"学得好"和"学得稳"根本是两件独立的事,一个AI可能在你盯着的那个指标上表现完美,同时在你没看的地方悄悄出了问题。这种暗门设计的价值,大概就在这里,它逼着我们不能只相信表面那一个分数。

如果一个AI连自己改动的数据会带来什么效果都预测不准,那我们凭什么相信它未来能独立设计实验、独立做科研?这个问题,这篇论文给出的答案并不乐观,但至少它让这个问题变得可以被测量了。

Q&A

Q1：AutoDataBench是什么？

A：AutoDataBench是一个专门测试AI理解和改进训练数据能力的基准测试，它把训练框架、超参数、算力全部固定住，只让AI调整数据本身，从而干净地评估AI的"数据智能"，涵盖数据诊断修复、数据组织、数据构造三个方面。

Q2：AutoDataBench测试结果显示哪个AI模型表现最好？

A：综合三项任务，Kimi-3总分最高（60.68分），主要靠知识注入任务领先；GPT-5.6-Sol在工具调用和嵌入模型检索任务的明面分数上表现最突出，但在隐藏评测集上泛化能力并不理想。

Q3：为什么AI预测自己数据改动效果时，反而优化分数变低了？

A：研究发现，当AI被要求在每次提交数据前先预测训练效果分数并写理由时，最终的优化表现普遍比不做预测时更差，推测是这种额外的反思负担占用了本应用于优化策略的注意力资源。