2169条轨迹全开源！中科大&复旦提出Working Agent训练数据合成框架

智猩猩AI整理

论文作者投稿

大模型 Agent 正在从「对话」走向「干活」。GDPVal、Workspace-Bench、Claw-Eval 等近年发布的基准，开始用真实工作任务考察 Agent：读懂几十份格式各异的文件，协调多种工具，最终交付一份能用的成果。从现有评测结果看，即便是前沿模型，距离「实用」也仍有明显差距。

要提升这类能力，一条主流路线是用强教师模型合成轨迹做监督微调。但落到 Working Agent 场景，数据合成面临一个特殊困难：任务必须建立在大量真实文件之上，且结果必须可验证。现有管线在这两点上各有欠缺：

• 以 EnvCraft 为代表的路线用模型直接生成文件，真实性和多样性不足，验证脚本也只能检查工作区状态，读不了文档内容；

• 以 NexForge 为代表的路线基于真实文件构造任务，但没有任务级的评分标准，产出质量无法系统性把关。

为此，中科大联合复旦提出 GraphForge，把「任务构造」和「结果验证」同时锚定在真实文件证据上。

01

基于证据图的

五步合成管线

图 1｜GraphForge 管线总览。从 ONET 职业种子出发，经过真实文件工作区搭建、证据图构建、执行反馈修订、轨迹准入五个阶段，产出可验证的高质量训练轨迹。

第一步，职业锚定的任务种子。如果让模型自由发挥造任务，数据会迅速向高频职业和「写个分析报告」这类泛化任务坍缩。GraphForge 的种子来自美国 O*NET 职业数据库，经数字化可执行性筛选后，保留 246 个职业、16 个行业部门、891种详细工作活动（DWA），组合出 3,419 个有效的「职业 × 任务类型」对。每个种子还会标注 16 种执行模式之一（从定量建模、对账到政策设计、文档修订），并采用边际覆盖度贪心采样，保证语料分布足够宽。

第二步，真实文件工作区。种子只规定「谁干活、干什么、怎么干」，不指定具体案例。搜索 Agent 为每个种子检索一个自洽的公开案例，抓取所需文件构成工作区。文件按隐藏角色分为四类：核心文件驱动主要计算，支撑文件提供政策与上下文，干扰文件是看似相关实则不可用的备选项，环境文件增加真实冗余。这些角色不参与任务描述，Agent 看不到。

第三步，证据图与可验证评分标准。这是框架的核心。模型在工作区之上构建证据图：节点记录「哪个文件、提供什么事实字段、扮演什么角色」，边记录跨文件的依赖关系（解读、比较、对账、推导）。任务描述和评分标准都从这张图编译而来，每条正向标准带有权重、期望值和证据锚点，即验证该标准需要查阅的具体文件。执行与验证由此分离：干活的 Agent 只看到任务和文件，评审则拿到锚点和验证指令。

第四步，执行反馈式一步修订。长程任务的歧义很难靠静态检查穷尽，因此每个任务先由教师模型完整试跑一遍，修订 Agent 再对照原始文件和证据图，检查任务是否自然可执行、所需数值是否有出处、每条标准的锚定是否正确。只改动必要字段，其余部分由编译器原样保留并校验。

第五步，轨迹准入与清洗。交付物先过确定性检查（文件名、格式、表格公式、结构约束），再由证据锚定评审逐条打分。正向标准按完成度加权计分，负向标准按违规程度扣分，仅保留综合得分高于 0.90 的轨迹，同时剔除重复无效调用、工具失败率过高等行为退化的样本。

图 2｜SFT 语料的行业部门 × 执行模式联合覆盖（左）与输入文件类型分布（右）。PDF 出现在 96.7% 的轨迹中，每个任务平均使用 23.1 个输入文件。

最终从 3,638 个实体化任务中产出2,169条准入轨迹，通过率约六成。语料覆盖 466 种 O*NET 任务类型、15 个行业部门和全部 16 种执行模式。轨迹平均包含 50.0 步助手交互、16.2 万 token，最长的1.3% 触及 262,144 token 的训练上限。

02

跨基准、跨框架、

跨基座的一致提升

图2｜主实验结果。GraphForge SFT 在 GDPVal、Workspace-Bench-Lite、SpreadsheetBench II 三个基准上均有显著提升，且提升在OpenHands、Codex、Claude Code 三种框架下一致成立。

用 GLM-5.2 作为教师模型合成的2,169 条轨迹，对 Qwen3.6-27B 做监督微调：

• GDPVal Elo 达到1445.7（+65.7）（OpenHands），Codex 框架下1427.4（+63.4）；
• Workspace-Bench-Lite 达到63.7+7.7（Claude Code）；
• SpreadsheetBench II 达到24.0（Claude Code）。

同一批数据用于 Qwen3.6-35B-A3B，GDPVal 提升超过100 Elo（OpenHands +101.7，Codex +101.4），SpreadsheetBench II 提升 16.5，说明数据收益可以跨基座模型迁移。

细节一：跨框架迁移。所有轨迹均在 Codex 框架下采集，评测却覆盖 OpenHands、Codex、Claude Code 三种框架，提升全部成立。如果模型学到的只是特定框架的操作习惯，这种跨框架收益不会出现。这说明语料教会的是可迁移的工作能力。

细节二：无污染验证。GDPVal 与训练种子同样源自 O*NET 职业体系，是污染风险最高的基准。团队在三个粒度上做了审计：文件层面，39,201个训练文件与 GDPVal 的 260 个文件按 SHA-256 比对零重合；文本层面，13-gram 相似度 Top-20 候选对经人工复核无实质共享内容；职业层面，44 个评测职业仅 13 个被训练覆盖。更有说服力的证据是分组对比：在训练未覆盖职业的 155 个任务上，SFT 模型对基座的胜率为 0.739，不低于已覆盖职业上的 0.692。提升来自能力迁移，而非对评测内容的记忆。

细节三：评分信号可信且可用。评审是否真在读它引用的证据？受控扰动实验显示，删除某条标准引用的工作表后，该标准得分平均下降 0.377，而其余非目标标准平均变化仅 0.016，响应高度局部化。基于该信号做拒绝采样微调（RFT）：对同一查询采样 4 条候选轨迹，由锚定评审选出最优者再训练。结果显示锚定选择在三个基准上带来一致提升，而随机选择的对照组在 GDPVal 上反而下降 9.0 Elo。同样的候选池、同样的训练预算，差别只在「选哪条」，轨迹筛选信号的价值由此得到验证。

表 2｜RFT 消融结果。三个 RFT 组共享同一批 462 个查询、候选池与训练预算，仅轨迹选择规则不同。证据锚定选择带来一致提升，随机选择反而下降。

03

任务、轨迹、

评分标准、模型权重都开源

Working Agent 数据合成领域有一个公认痛点：不少工作只放模型，不放数据。以与本文最接近的 NexForge 为例，仅发布训练后的模型权重，合成任务与轨迹均未公开，后续研究难以复现和接力。

GraphForge 选择开放链路：

• 2,169条完整训练轨迹，保留全部助手推理与工具调用历史；
• 全部任务描述与证据锚定评分标准，可直接复用于轨迹筛选和评测；
• Qwen3.6-27BQwen3.6-35B-A3B两个SFT检查点
• 完整训练配置（Muon 优化器、学习率、262K 上下文、序列打包等）与固定随机种子，全部在论文附录公开。

团队表示，「真实文件 + 证据锚定验证」是 Working Agent 后训练数据的一条可行路径，而完整开源是让这条路径可被检验、可被超越的前提。

04

局限与展望

论文对自身局限的披露相当坦率：其一，当前语料为 2,169 条轨迹，框架在更大数据预算下的 scaling 行为尚未验证；其二，合成管线与评审均由 GLM-5.2 驱动，评审能可靠发现结构性证据缺失，但对单元格级的细粒度数值篡改不敏感，更强的前沿模型有望同时抬升数据质量和评审可靠性；其三，实验只覆盖了 Qwen 同一系列的两个基座，向其他模型家族的迁移性有待研究。

下一步，团队计划将 GraphForge 扩展到更多任务族与文件类型，并研究证据锚定验证与更长程 Agent 框架的交互。

05

结语

当 Agent 从聊天窗口走进真实工作流，训练数据的标准也随之改变：任务要真实，验证要可信，数据要开放。 GraphForge 在这三点上给出了一个完整且可复现的答案。感兴趣的研究者可以前往 Hugging Face 获取全部数据与模型，也欢迎与团队交流。

关注+星标，获取AI前沿进展与开源一线动态