AI写代码的外壳每隔几个月就要重新设计一次，这件事本身就很荒谬

你可能没意识到一个问题：同一个AI模型，换个外壳，表现能差出一倍。

这不是夸张。在Terminal-Bench这个测试命令行操作能力的榜单上，GPT-5配上一个叫Terminus 2的外壳只能解决35.2%的任务，换成Codex这个外壳，直接飙到49.6%，而且还少花了35%的token。模型完全一样，只是外面套的那层控制代码变了，结果天差地别。

这层控制代码，业内管它叫harness

**harness（智能体外壳/控制层）**：包裹在AI模型外面的软件层，负责管理模型和环境之间的交互，包括给模型什么提示词、能用哪些工具、怎么组织多轮对话、什么时候喊停。模型负责"想该干什么"，harness负责"怎么把这件事真正落地执行"。

把这个关系想象成一个很会做饭的大厨和一个厨房。大厨的手艺（模型能力）再好，如果厨房里刀具不趁手、炉火调不准、食材摆放混乱，做出来的菜照样会打折扣。反过来，一个普通厨师配上一套精心设计的厨房动线，产出可能反而更稳定。模型就是那个大厨，harness就是整套厨房系统。

现在的问题是，这套"厨房系统"几乎全靠人工设计。工程师们盯着失败案例，手动调整各种启发式规则，试来试去，这个过程又慢又累人。更麻烦的是，模型一旦升级换代，之前调好的harness可能立刻变得不合适，因为不同模型的工具调用习惯、犯错方式、对提示词的敏感程度都不一样。换句话说，这件事没有尽头，每次模型迭代都要重新来一遍人工调优。

这就是今天要聊的这篇论文想解决的事情：能不能让AI自己去搜索、发现更好的harness，而不是靠人一点点试出来？

**自动化外壳发现（Automated Harness Discovery，简称AHD）**：给定一个AI智能体，自动搜索出一个更强的harness配置，让这个智能体在特定任务上表现更好、花费更少。

这篇论文提出的方法叫MILO，全称是Meta-evolutionary Island Orchestration（元进化岛屿编排）。先别急着被这个名字吓到，后面会把这几个词一个个拆开讲清楚。

已有的尝试为什么不够

在MILO之前，已经有不少团队尝试过用"进化搜索"的思路来自动优化harness：让一个AI当"变异器"，不断提出新的harness设计，再用一个打分器去评估好坏，好的留下，差的淘汰，循环往复。这套思路本身没错，类似生物进化中的自然选择。

但问题出在执行细节上，论文作者总结出四个普遍存在的短板。

第一个短板是探索能力太弱。AI驱动的变异器天生有个倾向，就是反复在同一类修改上打转，比如总是在调整提示词的措辞，很少去动控制流程这种更底层的结构。这就好比你让一个人去给房子做改造，他每次都只换换墙纸颜色，从来不敢拆墙重新规划格局。论文里提到一个现象很说明问题：有的方法明明可以修改整个harness的代码，但搜索出来的最佳版本和原始版本相比，只在提示词和打分细则上有差别，真正的控制逻辑完全没动过。

第二个短板是不懂得吸取失败的教训。做一次harness评估要花好几个小时，这是真金白银的成本。可很多现有方法是"健忘"的，它们只保留成功的候选方案，一旦某个尝试失败了，这段经历就被直接扔掉，不会留下任何痕迹。结果就是，同一个已经被证明行不通的方向，很可能在后面的搜索中被重复尝试一遍，白白浪费宝贵的计算资源。

这里要插一句，这种"健忘"的代价不是理论上的担忧。想象你在一个陌生城市找餐厅，如果每次走进一家不好吃的店之后立刻就忘记这件事，那你很可能在接下来的几天里反复走进同一家难吃的店。留住失败的记录，哪怕只是"这条路走不通"这一条信息，也能帮你少走很多弯路。

第三个短板是搜索策略本身是固定的。大多数方法在搜索开始之前就把规则定死了：选哪个候选方案当父本、怎么变异、留下哪些结果，这套流程写死之后就不再调整，遇到卡壳的情况也没法自己改变策略。少数方法会按固定规则调整某一个环节，比如动态分配算力，但整体策略依然是僵化的。

第四个短板是只盯着准确率这一个指标。但实际上，harness设计影响的不只是对错，还包括花多少token、跑多久。论文里举了个例子，Anthropic团队光是重写一个工具的描述文字，就把任务完成时间缩短了40%。如果搜索算法只认准确率这一个维度，很容易搜出来一个"又贵又慢但勉强达标"的方案。

MILO的核心设计：三个互相配合的角色

MILO想解决上面这四个问题，用的是三个相互配合的机制：一个分层的谱系记忆库、一群基于证据工作的变异智能体，以及一个负责统筹全局的编排智能体。

先说说最根本的设计哲学。MILO的关键洞察是：不能只进化harness本身，还要让搜索策略本身也跟着进化。换句话说，MILO不只是在找一个更好的harness，它还在学习怎么更聪明地去找。

### 岛屿式的谱系记忆：让不同的尝试互不干扰

MILO把整个搜索空间分成若干个"岛屿"，每个岛屿从一个不同的初始harness出发，独立演化出自己的一条谱系。

**岛屿（island）**：进化搜索中一种常见的种群划分方式，每个岛屿维护一条独立演化的谱系，彼此之间可以交换优秀的想法，但从不互相淘汰竞争。

这个设计解决了一个很实际的矛盾：如果所有候选方案挤在同一个池子里互相竞争，那个"擅长局部微调但缺乏想象力"的变异器很快就会主导整个种群，因为它产出稳定的小幅改进，看起来总是"更优"，但整个搜索会因此困在一个局部最优附近出不来。

分成岛屿之后，即使某个变异器天生保守、只会修修补补，它也只会影响自己所在的那个岛屿，不会压制住其他岛屿里更大胆的结构性尝试。论文里有个很说明问题的结果：在gpt-oss-120b这个开源模型上跑Terminal-Bench任务时，三个岛屿里最弱的那个初始种子，准确率只有39.2%，远低于另外两个种子的45%和44%。可最终跑出全场最高分59.9%的，恰恰就是从这个"最差"的种子演化出来的。如果当初把三个种子放进同一个池子里竞争，这个起点最低的种子大概率在第一轮就被淘汰，根本不会有后来的机会。

这就像公司里组建几个相互独立的小团队去攻克同一个难题，而不是让所有人挤在一个会议室里投票选方案。独立团队里哪怕某个团队一开始想法很普通，只要给它足够的空间自己摸索，说不定能走出一条意想不到的路。如果一开始就让所有想法放在一起"民主投票"，声音最大、看起来最稳妥的方案往往会压过那些还不成熟但潜力更大的点子。

更特别的是，这个记忆库会把被拒绝的尝试也完整保留下来，而不是像大多数方法那样只记录"活下来"的赢家。

**append-only记忆（只增不改的记忆）**：MILO的谱系树会同时保留被采纳和被拒绝的所有子代方案，连同它们的具体改动和对应的成功失败结果，供后续的变异器查阅。

这就是前面提到的"不要健忘"原则的具体落地。每次变异产生的新harness，无论最后是被采纳还是被拒绝，都会作为一个节点留在树上，并记录下这次改动具体是什么、带来的准确率和成本变化是正是负。下一次有新的变异器要对同一条谱系做改动时，它能看到这棵完整的树：哪些方向已经试过且失败了，哪些微调起了作用。

### 变异智能体：带着证据去改代码，而不是瞎猜

传统做法里，负责生成新候选方案的往往只是一次性的大模型调用，看一眼当前最优方案，提个建议就完事了。MILO的变异器不是这样工作的。

论文把MILO的变异器设计成真正的编码智能体，它们能读文件、写代码、搜索内容、跑命令，经过多轮推理之后才给出修改方案。每次工作时，它拿到三份材料：父代harness的完整源代码、这个父代在失败任务上留下的具体证据（包括执行轨迹和测试报告），以及自己所在岛屿的完整谱系快照。

这个设计背后的逻辑其实很朴素：要想真正诊断出问题所在，光看代码不够，还得看代码跑起来之后具体是怎么失败的。这就好比医生看病，不能只看病人的体检报告数字，还得问清楚具体哪里不舒服、什么时候开始的、做过什么处理。变异器的工作流程也被设计成"先诊断、后开方"：先从失败证据里找出父代究竟卡在哪一类问题上，再决定是做一次局部微调，还是来一次彻底的结构性重写。

这里有个很有意思的细节值得展开说说。论文发现，光靠局部微调是远远不够的，在Terminal-Bench 2.1这个基准上，MILO搜索出来的最佳harness相比起始版本提升了12个百分点，而它采用的改动方式是重写整个控制流程：先快速产出一个勉强合格的最低限度方案，随着截止时间临近主动分级处理剩余工作，并且只有经过独立验证之后才允许真正停止。这跟其他方法只是改改提示词措辞形成了鲜明对比。

### 编排智能体：当所有岛屿都卡住时，谁来打破僵局

即使有了岛屿隔离和带证据的变异器，搜索过程还是会遇到卡壳的时候，就是论文里说的"局部最优"。这时候就轮到第三个角色登场了，论文管它叫编排智能体。

**编排智能体（orchestrator）**：当某个岛屿连续若干轮都没能在验证集上取得进步时触发的高层调控者，它会诊断卡壳的原因，然后对整个搜索策略本身做出调整，包括更换变异器、嫁接不同岛屿的优势基因、为被压制的小众方案单独开辟新岛屿，或者重新设计评测任务的侧重点。

论文里给出了四种可能的卡壳原因，以及对应的四种干预手段。

如果一个岛屿的变异器反复提出的方案要么被拒绝、要么只是无关痛痒的小调整，编排智能体判断这是"变异器枯竭"，于是直接把这个岛屿换一个变异器试试看。如果某个岛屿已经江郎才尽，但另一个岛屿明明已经解决了这个岛屿一直搞不定的任务，那就说明这个能力已经存在于种群里的别处，编排智能体会做一次"嫁接"，把两个岛屿里表现最好的方案配对生成新的候选。如果岛屿内部有一个和主流方案风格迥异的小众分支，一直被主流分支压制而得不到足够的探索机会，编排智能体会把这个分支单独提升成一个新岛屿，让它拥有自己的资源独立发展。最后，如果整个种群都逼近了同一个瓶颈，那就往往需要重新设计评测任务的组合，让搜索更聚焦在那些"少数方案能解决、大多数方案都失败"的高价值任务上。

论文里给了一个很具体的例子，能帮你感受这个过程是怎么运转的。在gpt-oss-120b模型上跑Terminal-Bench的搜索中，三个岛屿在第6轮到第14轮之间全部陷入停滞，谁都没有进步。编排智能体介入之后，在第15轮和第21轮分别执行了跨岛屿嫁接和变异器重新分配，种群最终突破瓶颈，达到59.9%的成绩，而且前面提到的那个起点最低的岛屿，正是在这次干预之后反超成为最终赢家。

这个设计让人联想到公司里遇到项目卡壳时，单靠原团队死磕往往走不出来，这时候可能需要一个外部视角的人介入，看看是团队方法有问题、是某个方向早该放弃、还是该把某个被忽视的小团队调出来单独发展。关键是，这个"外部视角"本身也是自动化的，不需要人工介入去做这件事。

怎么评价一个新造出来的harness好不好

光有产生新方案的能力还不够，还得有一套靠谱的评判标准，决定一个新方案到底算不算进步。MILO在这里用了一个叫"多目标适应度"的思路，而不是单纯看准确率。

**多目标适应度（multi-objective fitness）**：同时考虑准确率、token消耗、运行时长这几个维度，只有在这几个维度上整体占优的新方案才会被采纳进种群，否则会被拒绝。

具体来说，MILO会把每个harness的表现浓缩成一个向量，第一项是准确率，后面几项分别对应不同成本指标的"节省程度"。一个新候选方案只有在这个多维空间里真正扩大了整体的"占优区域"，也就是论文里说的帕累托前沿，才会被正式采纳。这意味着，一个准确率提升但代价也暴涨的方案，未必能通过这道关卡，除非这个提升足够显著。

这套筛选逻辑直接体现在了最终结果上。MILO在Terminal-Bench 2.1上搜出来的最佳harness，不仅准确率比起点提升了12个百分点，消耗的token反而只有起点方案的74%。换句话说，这个新harness既更聪明，又更省钱，这在只盯着准确率一个指标的搜索方法里是很难自然出现的。

实打实的测试结果

说了这么多设计理念，终究要看效果。研究团队在三个考验长流程操作能力的基准上做了测试：Terminal-Bench 2.1（命令行任务）、PaperBench（复现学术论文代码）、DeepSWE（多文件软件工程任务），分别配上两种模型：闭源的Opus 4.8和开源的gpt-oss-120b。

对比对象分三档：一个几乎没有任何额外设计的极简harness作为基准线；八个业界现成的harness，包括Cline、Goose、Mini-SWE-Agent等知名工具；以及六种其他的自动化搜索方法，包括GEPA、OpenEvolve、ShinkaEvolve、EvoX、A-Evolve、Meta-Harness。

| 基准测试 | 指标 | 起点（最优种子） | 最强竞品搜索方法 | MILO |

| Terminal-Bench 2.1 | 解决率提升 | — | +4.5%（GEPA） | **+12.0%** |

| PaperBench | 解决率提升 | — | +18.3%（Meta-Harness） | **+28.3%** |

| DeepSWE | 解决率提升 | — | 0%（未见提升） | **+10.3%** |

这组数字背后有个很扎心的细节：在DeepSWE这个任务上，其他六种搜索方法没有一个能搜出比起点更好的harness，相当于白忙活一场，而MILO照样取得了两位数的提升。

在开源模型gpt-oss-120b这一侧，差距更夸张。MILO在DeepSWE上把准确率从起点的不到1%干到了15.6%，相当于起点的20倍，而所有竞品搜索方法最终都没能突破1%。

在Terminal-Bench 2.1的完整榜单对比中，MILO跑出86.1%的成绩，比官方公开排行榜上排名第一的方案83.8%还要高，而且token消耗只有自己起点方案的74%。

更值得一提的是泛化能力。研究团队直接把在Terminal-Bench 2.1上搜索出来的harness，原封不动地拿去跑一个更难的新基准Frontier-Bench，结果依然比三个起点种子里最好的那个高出3.8个百分点，比Terminal-Bench上表现最强的现成工具Mini-SWE-Agent还高出8.6个百分点。这说明MILO搜出来的不是一个只会应付特定考题的"应试技巧"，而是具备一定通用性的设计原则。

搜索机制的拆解实验

为了验证论文里提出的每一个组件到底有没有用，作者做了一组逐步叠加的消融实验，从最简单的配置开始，每次加一个组件，看效果怎么变化。

| 配置 | 组件 | Terminal-Bench 2.1 解决率 |

| A | 仅大模型单次变异，扁平记忆 | 76.4% |

| B | +变异智能体（多轮工具调用） | 79.1% |

| C | +谱系记忆（保留失败记录） | 79.3% |

| D | +多岛屿并行 | 80.5% |

| E | +编排智能体 | **86.1%** |

从表格能看出来，每加一个组件都有进步，但最大的一次跃升发生在加入编排智能体之后，从80.5%一口气提升到86.1%，涨了5.6个百分点，比前面三个组件加起来的提升还要大。这说明单纯依靠隔离的岛屿和聪明的变异器还不够，真正让系统能够自我纠偏、跳出僵局的，是那个统筹全局、懂得诊断问题的编排角色。

跳出软件工程，去解决悬而未决的数学问题

MILO的设计思路其实不只局限于软件工程任务。论文还把这套框架用在了一个完全不同的场景：开放性数学问题的优化搜索，用的是一个叫EinsteinArena的平台，上面汇集了多个尚未被彻底解决的数学不等式问题，全世界的研究者和AI系统都在上面竞争谁能找到更优的数值构造。

这里MILO换了个角色定位：不再是直接优化"解题的harness"，而是优化那个负责"编写优化算法代码"的智能体外壳。具体做法是，给定一个起始的数学构造方案和对应的优化程序，变异器去改进这个负责生成优化策略的harness，让它写出来的优化代码本身更强，然后用这个优化代码实际跑出一个数值解，拿去对照真实的数学验证器打分。

结果令人意外，MILO在三个公开问题上都刷新了此前的最佳纪录：

| 问题 | 此前最佳纪录（2026年9月） | MILO 结果 |

| Erdos最小重叠问题 | 0.3808586 | **0.3808568** |

| 第一自相关不等式 | 1.50274365 | **1.50274360** |

| 第三自相关不等式 | 1.4508066 | **1.4488860** |

这三个数字的提升看起来很小，但在这个领域里，每一次刷新纪录往往意味着数学家们花了很长时间都没能突破的瓶颈被撼动了一点点。论文还特意拿这些结果和其他知名的自动化科学发现系统做了对比，包括谷歌的AlphaEvolve和另外两个系统TTT-Discover、EvoX，MILO的结果在这三个问题上都更优。

值得一提的是，这些纪录都经过了官方验证器的独立复核，两次相隔13天的验证结果精确到小数点后十几位都完全一致，排除了偶然误差的可能。

写在后面

读完这篇论文，有一个细节让我反复琢磨：那个起点最弱的岛屿，最后反而跑出了全场最优解。

这不是一句鸡汤式的"不要小看起点低的选手"，而是一个值得认真对待的技术信号。它说明在搜索空间里，起点的表面分数和最终能达到的上限，可能完全不是一回事。如果用传统的"优胜劣汰"思路，一上来就把表现差的方案淘汰掉，可能恰恰扼杀了后面能走出一条独特路径的种子。MILO能发现这一点，靠的不是运气，而是它坚持让不同的谱系互不竞争、各自独立演化这个结构性设计。

另一个让我意外的地方是，论文里提到几乎所有现成的商业harness，包括Cline、OpenHands这些工具，在PaperBench这个论文复现任务上，表现反而不如什么都不加的极简版本。这说明"工程师精心设计的东西"未必天然适配所有任务场景，一个针对某类任务调优过的系统搬到另一个任务上，很可能水土不服。这也从侧面印证了论文开头提的那个判断：harness和模型的适配是一件需要持续重新做的事情，不存在一劳永逸的最优解。

还有一点值得多想一步。这套系统现在用来优化的是"写代码的外壳"，但它本质上是一套通用的"策略级自我改进"框架。论文里也提到，这套思路理论上可以扩展到偏好优化算法、设计启发式规则等其他领域。如果AI系统开始普遍具备这种"改进自己工作方式"的能力，那接下来要追问的问题可能不再是"这个模型能做什么"，而是"这个系统有没有能力发现自己不该这样做事"。

Q&A

Q1：MILO是什么？

A：MILO是一个自动化发现AI智能体外壳（harness）配置的框架，它能让AI系统自己搜索出更强的控制层设计，而不需要工程师手动调试，核心靠岛屿式记忆、带证据的变异智能体和统筹全局的编排智能体三个部分配合完成。

Q2：MILO和其他自动化搜索方法比优势在哪？

A：MILO在Terminal-Bench 2.1、PaperBench、DeepSWE三个基准上都显著超过了GEPA、Meta-Harness、OpenEvolve等六种竞品方法，部分任务上MILO能实现两位数提升，而其他方法甚至完全没有进展。

Q3：MILO搜出来的harness能不能直接用到别的任务上？

A：可以。论文把在Terminal-Bench 2.1上搜出来的harness直接搬去跑更难的新基准Frontier-Bench，结果依然超过起点方案和业界最强的现成工具，说明这套设计具备一定的通用性而不是只会应付特定考题。