ACL 2026 SAC Highlight | 给ML-Agent配一个“未跑先知”的加速器

现在的 AI 不仅能聊天，已经可以独立做机器学习实验了 —— 拿到任务，自己写训练代码、自己跑实验、看结果、改方案，循环往复直到拿出更好的模型。

Anthropic 的 Claude Code 负责人 Boris Cherny 有句话很能概括这种新范式：“我不再 prompt Claude 了，我写的是跑起来去 prompt Claude 的循环。这种被称作 loop engineering 的思路，正在成为 Agent 开发的主流 —— 不再一问一答地驱动模型， 而是设计一套自动循环， 让 Agent 在 “生成→执行→反馈→改进” 里自己迭代。

但真正卡住机器学习 Agent 的，不是写代码， 也不是循环本身， 而是循环里 “执行” 这一步太贵了。一个机器学习方案好不好， 必须完整跑一遍才知道 —— 预处理、训练、评估整套流程，一次可能要花 9 个小时。Agent 也许能一口气写出十套方案， 可执行预算只够跑一套， 剩下九套都是浪费 。换言之，机器学习 Agent 是被 “执行时间” 锁死的： 它缺的不是生成方案的能力， 也不是跑循环的能力， 而是 “动手前先判断哪个值得做” 的能力 。

本文针对这个问题给出了硬数据：大模型在不跑任何代码的情况下，已经能猜中哪个机器学习方案更有效 —— 准确率 61.5%， 明显高于随机和复杂度启发式 。把这种 “未跑先知” 的能力接进 Agent 后， 搜索效率提速 6 倍， 最终性能也提升了 6%。

论文标题： Can We Predict Before Executing Machine Learning Agents？ 论文链接： https://huggingface.co/papers/2601.05930 代码链接： https://github.com/zjunlp/predict-before-execute 数据： https://huggingface.co/datasets/zjunlp/PredictBeforeExecute

当前主流的机器学习 Agent 遵循一个很自然的范式：生成方案→执行→看反馈→改进→再来一遍 。这套 Generate-Execute-Feedback 循环本身没有问题，问题在于 “执行” 这一步的代价。

和做数学题、写代码不一样，机器学习方案的反馈来自一整套训练流程 —— 数据预处理、模型训练、验证评估 。在 MLE-Bench 这样的基准上， 一次执行可能耗时数小时 。Agent 也许能轻而易举地生成许多候选方案 ，但没有足够的执行预算逐个验证。

这就形成了一个瓶颈：Agent 的探索空间被物理执行时间硬性限死 。它能想到 10 条路 ，但只跑得起 1 条。

图 1：From Execution to Inference。传统 ML Agent 靠数小时物理执行获得反馈， 本文用 LLM 推理将判断前置到执行之前。

研究者注意到一个对人来说很显然、对 Agent 却缺失的事实：人类机器学习专家在动手前，常常已经能排除掉一些明显不合适的方案。面对小尺寸灰度医学图像，不会盲目套用需要大幅 resize 的大型 ViT；面对强类别不平衡的数据，不会忽略采样和损失设计。这种 “执行前的预判”，本质上是一种内化的执行经验。

论文想把这种人类专家才有的 “未卜先知” ，移植给 LLM。

二、从一个问题，到一个任务

论文形式化提出了 Data-centric Solution Preference 任务。给定一个机器学习任务，模型会看到：任务描述、经过验证的数据分析报告、两个候选方案的代码，然后需要输出哪个方案更可能取胜，并给出置信度。

这个任务有一个容易踩的坑：它不是在判断代码 “复杂不复杂”。一个更长、用了更先进模型、pipeline 更华丽的代码，并不一定在当前数据上跑得更好。真正要判断的是算法设计和数据特征是否匹配 —— 数据有没有类别不平衡？图像分辨率够不够？文本有多短？训练集和测试集分布稳不稳定？

也就是说，模型不能只看代码，必须先 “读懂数据”。

图 3：框架总览。从任务定义、轨迹收集、数据筛选， 到 Verified Data Report 增强， 再到 FOREAGENT 的 Predict-then-Verify 应用。

三、让模型先读懂数据

论文发现，如果只给 LLM 候选代码，模型容易退化成浅层判断 —— 倾向于选更长、更 “高级” 的方案。但机器学习方案的好坏强依赖数据，脱离数据的代码判断意义有限。

为此，论文引入了 Verified Data Analysis Report，通过三步生成：

1. Profiling：让 LLM 写数据分析代码，提取数据规模、分布、缺失值、图像尺寸、文本长度等统计信息；

2. Verification：执行分析代码，由专家检查日志，保证统计结果可靠；

3. Verbalization：把原始统计数字转译成结构化、语义化的数据分析报告。

这一步的关键在于：原始数字对 LLM 来说往往是高熵符号，而语义化报告能把数字转成接近人类建模经验的描述 —— 数据有什么模式、这些模式为什么重要、会如何影响模型设计。模型不是在 “猜分数”，而是在建立一条从数据特征到方案适配性的因果链：

数据特征 → 建模风险 / 优势 → 方案适配性 → 预测哪个方案更可能胜出。

四、18438 对真实方案，验证 LLM 能不能 “未跑先知”

为了让这个问题可评估，研究者构建了一个大规模 Preference Corpus。数据来自两个真实 ML Agent——AIDE 和 AutoMind 在 MLE-Bench 上执行任务产生的完整轨迹，覆盖 CV、NLP、Data Science 三大领域共 26 个任务。经过去重、taxonomy 标注、专家采样，最终得到 895 个高质量实例和 18438 对方案比较。

表 1：Preference Corpus 统计。26 个任务横跨 CV、NLP、Data Science 三大领域，共 895 个高质量实例、18438 对比较。

这批数据的一个特点是：它不是合成的玩具代码， 而是真实 Agent 在探索中产生的完整 workfiow，包含大量 “逻辑不完美但能跑”、“看起来复杂但未必适配数据” 的中间态方案。判断谁更好，不能只看语法，也不能只看模型大小，必须理解数据 、代码和指标之间的关系。

主实验给出了明确的肯定回答：LLM 确实具备显著高于随机和启发式基线的执行前预测能力。

表 2：主实验结果。DeepSeek-V3.2（Thinking 模式）平均准确率 61.5%，GPT-5.1 为 58.8%，均显著高于随机基线（50.0%）和复杂度启发式基线（50.8%）。

• DeepSeek-V3.2 Thinking 达到 61.5% 平均准确率；

• GPT-5.1 达到 58.8%；

• 随机基线 50.0%， 复杂度启发式基线仅 50.8%。

复杂度启发式只有 50.8% 这一点很关键 —— 它说明 “复杂方案更好” 这种偏见本身几乎没有预测力。模型那十几个百分点的提升，来自真正从静态输入中提取到的、与执行结果相关的信号。

论文从多个角度拆解了这种预测能力的来源和边界。

数据表示影响很大。只给代码时模型已经能超过随机，但加入数据上下文后进一步提升，而把原始统计转成语义化 Verified Data Report 后效果最好。论文还做了一个对照实验：把代码配上无关的数据上下文（Context Mismatch），准确率几乎没有提升 —— 这反过来说明，预测成功靠的不是多给一点信息，而是信息和代码之间真正的语义对齐。

推理模式重要。Thinking/CoT 模式整体优于直接回答。这类任务需要模型显式展开判断：先理解数据，再分析代码，最后比较二者是否匹配。

但预测能力不随参数规模简单上升。在 Qwen 系列从 4B 到 1T 的测试中，30B 之后性能就进入平台期，1T 相对 30B 几乎没有增益。这说明执行前预测不是一个纯粹的参数规模问题，它依赖的是模型的数据语义理解、代码分析和任务归因能力，而非单纯的 “更大就更好”。

图 4：世界模型能力分析。从数据表示、领域敏感性、规模律、推理模式、置信度校准到复杂度区分能力，从 六个维度拆解预测能力的来源与边界。

置信度校准良好。模型自报置信度越高，预测准确率整体也越高。这一点对后续落地很关键 —— 预测模型不需要完全替代执行，只需要在高置信时帮 Agent 过滤掉低价值候选，在低置信时老实交给执行。

但这不是一个已经解决的问题。当任务从两两比较扩展到全局排名（Listwise Ranking），Accuracy@1 从 61.3% 掉到 31.1%—— 模型目前只擅长成对比较，还缺乏全局判别力。论文还揭示了一个更值得玩味的事实：即便真实执行，验证指标对测试性能的预测准确率也只有 72.2%（存在 Validation-Test Gap）。这意味着 “跑代码” 本身也不是完美信号 —— 隐式预测的价值在于，它用几秒推理提供了一个和数小时执行互补的、语义层面的判断维度。

五、FOREAGENT：把 “想” 变成执行前的筛选器

基于上述发现，论文进一步提出 FOREAGENT。

传统 Agent 是 Execute-then-Learn：生成一个方案，执行它，根据结果学习下一步。FOREAGENT 改成 Predict-then-Verify：并行生成大量候选→用隐式世界模型预测优劣→根据置信度过滤→只执行排名靠前的 Top-k 进行验证。真实执行不再是每个候选的必经步骤， LLM 推理成了执行前的筛选器。

图 4：FOREAGENT 性能。在 5 个 AI4Science 任务上， FOREAGENT 实现 6 倍加速、3.2 倍更多节点探索， Beat Ratio 平均提升 6%。

在 MLE-Bench 的 5 个 AI4Science 任务（覆盖 Biology、Physics、Geoscience、Ecology、Medicine）上， FOREAGENT 实现了：

• 平均 6 倍加速；

• 平均 3.2 倍更多节点探索；

• Beat Ratio 提升 + 6%。

具体配置上，每轮并行生成 m=10 个候选，用置信度门槛 c=0.7 做 gating，最终只执行 Top-k（主实验 k=1）。这组数字说明， 执行前预测不只是评测榜单上的一个指标， 它能真正改变 Agent 的搜索效率——用更少的物理执行， 探索更大的空间。

六、这件事的意义和边界

这项工作的意义不只是让 Agent 少跑几次实验。它把 ML Agent 的反馈机制从 “完全依赖外部执行” 推进到 “可以用内部预测做预筛选”。对于自动科研、AutoML、AI4Science 这类高成本任务， 这种能力可能很关键：如果 Agent 能在执行前排除大量低价值候选， 就能把有限的计算预算投向更有希望的方向 ；如果这些执行轨迹进一步用来训练 reward model， 也可能加速强化学习式的 Agent 优化。

但 61.5% 的准确率也说明这远未到终点。论文坦诚讨论了当前的边界：数据集虽覆盖 26 个任务，18438 对比较 ，但分布不完全均衡，分类和回归等主流范式占比高，音频分类 、Tabular Grading 等长尾任务样本少；CV 和 NLP 的 Verified Data Report 主要依赖元数据和统计分析，还没引入更深层的多模态分析； FOREAGENT 本身采用了相对保守的 Predict-then-Verify 实现，没有充分探索更复杂的推理时搜索策略 —— 换言之，论文给出的结果更像这个方向的下界， 而不是终点。

那个 72.2% 的 Validation-Test Gap 留下的启示也值得强调：你以为 “跑一遍代码” 就是铁标准，但其实验证集和测试集分布有差异，验证集上分数高，换到测试集上也只有 72.2% 的情况站得住。换句话说， 执行前预测并不是 “跑不起代码才退而求其次的便宜货”，它和跑代码走的根本不是一条路：跑代码看的是 “这批数据上跑多少分”，靠的是经验；LLM 预测看的是 “数据长什么样、代码逻辑搭不搭”，靠的是理解。两者各有盲区，正好互补。

未来的 ML Agent，不应只是更会生成代码，也应该更会在执行前判断 —— 哪些实验，值得做。

Illustration From IconScout By IconScout Store

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈