网易首页 > 网易号 > 正文 申请入驻

训练一个强大的智能体,究竟有多简单?字节跳动等推出Axion 1.0

0
分享至



能搜索资料、运行代码,还能完成多步科学研究任务——训练这样的智能体,究竟需要多少道工序?

中期训练、监督微调、偏好优化、在线策略蒸馏、强化学习…… 随着智能体能力不断增强,训练流程也变得越来越长。每增加一个环节,研究者就需要准备相应的数据,协调新的训练目标,再调试一套训练参数。

来自杜克大学、字节跳动、马里兰大学帕克分校和纽约州立大学布法罗分校的研究团队,推出了 Axion 1.0。其训练流程只包含两阶段监督微调(SFT)和强化学习(RL),没有额外安排中期训练(mid-training)、直接偏好优化(DPO)或在线策略蒸馏(OPD)。

凭借这套简洁的训练流程,Axion 1.0 展现出强势的科学推理和工具使用能力。论文报告,Axion 1.0-122B 在限制部分网站访问的完整 Humanity』s Last Exam(HLE)评测中取得 59.0%(超越 GPT-6),在 FrontierScience Research 上取得 66.7%;35B 版本在信息搜寻基准 SEAL-0 上取得 62.2%。

更重要的是,团队全面开源了数据构造、生成、筛选、验证、提示词及训练代码,向社区公开了完整训练方法。简洁的三阶段流程与透明的开源实现,让智能体基础模型的训练不再神秘,也让更多人能够训练自己的强大的智能体模型。



  • 论文:https://arxiv.org/abs/2611.03233
  • 项目:https://axion1-0.github.io
  • 代码:https://github.com/bytedance/axion1_0
  • 数据:https://huggingface.co/datasets/Axion1-0/axion-training-data
  • 模型:https://huggingface.co/Axion1-0/Axion-1.0-35B



方法介绍

Axion 1.0 成功的关键,在于针对智能体所需的不同能力,构造高质量的训练数据。具体而言,Axion 1.0 将智能体的训练任务分为两类:一类根据题目提供的完整信息进行推理与计算,另一类需要借助工具获取缺失的外部信息,再结合证据完成推理。两个 SFT 阶段分别围绕这两类任务展开,让模型先提升推理能力,再学习如何获取和利用外部信息。

第一步 给已经会做的题增加挑战

第一阶段使用数学、物理、化学、生物和计算机科学等领域的题目,训练模型的多步推理与计算能力。然而,很多公开题目,基础模型已经能答对。继续用这些题目训练,怎样提供更多学习空间?Axion 1.0 的办法是,根据基础模型的作答表现,有针对性地提高题目难度。



研究团队首先对种子题进行难度增强:把原题的答案变成新问题中的中间量,让解题增加一层依赖。随后让基础模型尝试:答错的题目进入候选池;答对的题目,则连同成功解法一起交给生成模型,进一步增加难度。

例如,种子题目要求算出从 1 到 10 的和,新题目就可以把固定数值替换成参数,要求给出一般表达式;也可以扩大取值范围,让原来的枚举策略难以奏效。其他改写方式还包括增加依赖前一步结果的推理,以及引入需要分类讨论的条件,甚至是这些策略的组合。

每次改写后,参考答案都会重新验证,条件不足或答案不明确的题目被剔除。随后收集正确的解题轨迹,形成约 1.08 万条第一阶段 SFT 数据。这个阶段允许使用 Python,但不开放搜索和网页访问,让模型先学会处理题目内部的推理与计算。

第二步 让模型必须走出去寻找答案

除了较强的内部推理能力,智能体模型在遇到使用内部知识无法解答的题目时,还需要判断缺少什么信息、到哪里查找,以及如何把查到的内容用于推理。第二阶段的任务构造,正是围绕这些能力展开。

Axion 1.0 从公开结构化数据出发,由程序完成筛选、选定唯一实体和计算答案,再让语言模型把这个过程写成自然语言问题。参考答案在出题时就已经确定,便于之后验证模型是否真正做对了题目。



论文给出了一个直观示例:在有行星环的太阳系行星中,找出质量最小的一颗,再计算其平均密度。模型需要先确定天王星,查到质量和半径,最后完成计算。一个问题由此串起实体识别、事实检索和数值计算。

收集轨迹时,出题使用的数据库表和参考答案不会直接提供给模型;模型需要通过搜索、网页访问和 Python 得到所需信息。无需检索就能答对的问题也会被过滤。程序还会检查实体选择是否唯一、参数是否齐全,以及自然语言改写是否遗漏条件或泄露答案。最终,第二阶段保留约 7500 条正确工具交互轨迹。两阶段 SFT 都保留完整交互上下文,只对助手生成的推理、工具调用和回答计算训练损失。

第三步 在真实工具交互中继续学习

有了推理和工具使用的示范,35B 与 122B 主模型进一步使用异步 GRPO 进行强化学习,在搜索、网页访问、学术检索和 Python 环境中生成自己的解题轨迹。

RL 阶段最关键的设计是阶段性的奖励机制 (reward)。而这个实现又依赖于之前的数据构造的设计。程序化出题既能提供最终答案,也能记录解题过程中应得到的实体和数值。因此,模型最终答对时获得完整奖励;没有答对时,经过验证的中间进展仍可获得部分奖励,同时对未提交最终答案的情况施加惩罚。

中间进展也有先后依赖。例如,先选对实体,再获取参数,最后计算,后续步骤只有在前置步骤通过检查时才能计入进展。需要外部依据的实体识别,还必须得到工具观察的支持。这样,检索结果中偶然出现正确内容,不会直接被当作模型已经完成了推理。

实验结果

Axion 1.0 的两个主模型分别基于 Qwen3.6-35B-A3B 和 Qwen3.5-122B-A10B。团队在六项评测中观察其科学推理、信息搜寻和工具使用能力。

主要结果



  • HLE:Axion 122B 取得 59.0%,高于论文列出的 GPT-6 Astra(57.2%)和 GPT-5.5(52.2%),接近 Claude Opus 5(63.6%)与 Claude Fable 5(63.8%)。
  • FrontierScience Research:Axion 122B 取得 66.7%,超过 GPT-5.6 Sol(63.3%),也高于 GPT-5.5(26.7%)。
  • FrontierScience Olympiad:122B 和 35B 版本分别取得 87.0% 和 86.0%,均超过 GPT-5.6 Sol(79.0%)和 Gemini 3.1 Pro(85.0%)。
  • SEAL-0:35B 版本取得 62.2%,超过 GPT-5.6 Sol(53.2%)、Gemini 3.1 Pro(53.2%)和 Agents-A1(56.4%)。
  • HiPhO:122B 版本取得 46.2%,高于 GPT-5.6 Sol(42.9%)和 GPT-5.5(43.3%)。

各训练阶段的效果



以 35B 模型为例,第一阶段 SFT 后,FrontierScience Olympiad 从71.0%提升至83.0%,体现出科学推理能力的增强;第二阶段引入工具使用训练后,BioMysteryBench 从17.6%提升至35.3%,FrontierScience Research 从48.3%提升至58.3%;RL 则进一步将 SEAL-0 从53.2%提升至62.2%。连续训练检查点的结果展示了模型从推理、信息获取到多步工具交互的能力提升过程。

不同基础模型



在 Qwen3.5-35B-A3B 和 Qwen3.6-35B-A3B 上应用了相同的两阶段 SFT 方法。训练前,两者在 HLE-130 上相差9.2个百分点;训练后,差距缩小至0.8个百分点,在 BioMysteryBench 上则均达到 35.3%。这些结果表明,Axion 1.0 的训练方法能够适用于不同底座,帮助起点较弱的模型显著缩小性能差距。

模型规模



Axion 1.0 的训练方法也被应用于 4B 和 9B 模型。仅经过两阶段 SFT,两个小模型在 HLE-130 上分别取得 53.1% 和 63.1%,在 FrontierScience Olympiad 上分别达到 81.0% 和 83.0%;9B 模型在 FrontierScience Research 上也取得了 55.0%。说明所构造的训练数据在较小模型上同样有效。

回到最初的问题:训练一个强大的智能体,究竟有多简单?Axion 1.0 展示了一条只包含两阶段 SFT 和 RL 的可行路径。支撑它的是经过设计和验证的学习任务:用模型已有的解法指导难度提升,用公开数据构造需要外部证据的问题,再通过工具交互中的奖励继续优化。

团队已公开数据构造及训练和测试代码。对于希望复现和改进智能体训练的研究者,这些材料提供了一个具体起点。

作者团队

作者团队来自杜克大学、字节跳动、马里兰大学帕克分校和纽约州立大学布法罗分校。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

移动挡拆
2026-11-17 10:44:16
传腾讯内部空前危机感:AI也会被替代!

传腾讯内部空前危机感:AI也会被替代!

城事堂
2026-11-17 00:05:10
中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

曹说体育
2026-11-17 11:37:11
掘金大爆冷!约基奇28+15穆雷爆发太晚,布克20+8,火箭弃将15+4全队第一

掘金大爆冷!约基奇28+15穆雷爆发太晚,布克20+8,火箭弃将15+4全队第一

鱼崖大话篮球
2026-11-17 12:39:27
詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

醉卧浮生
2026-11-17 11:13:22
与高盛唱反调?大摩展望2027中国股市:A股优于离岸,港股面临流动性挑战

与高盛唱反调?大摩展望2027中国股市:A股优于离岸,港股面临流动性挑战

华尔街见闻官方
2026-11-17 11:56:33
财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

云霄纪史观
2026-11-17 04:30:23
女子长相漂亮,还能赊账被杀,2011年排查几百个嫖客,凶手让人意外

女子长相漂亮,还能赊账被杀,2011年排查几百个嫖客,凶手让人意外

汉史趣闻
2026-11-17 09:30:11
突发!黄仁勋大反击!

突发!黄仁勋大反击!

财经要参
2026-11-17 07:30:09
536分捡漏上北大考生被公派瑞士读博,他曾凭“国家专项计划”被北大提档,又以专业第一的成绩考研

536分捡漏上北大考生被公派瑞士读博,他曾凭“国家专项计划”被北大提档,又以专业第一的成绩考研

极目新闻
2026-11-16 22:53:06
美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

风向观察
2026-11-17 12:57:36
郭德纲“怒了”! 正式委托律师发布声明,具体细节曝光,疑与马志明收义子有关

郭德纲“怒了”! 正式委托律师发布声明,具体细节曝光,疑与马志明收义子有关

裕丰娱间说
2026-11-17 11:34:30
缺德到这种程度,已经不是讽刺的问题了!

缺德到这种程度,已经不是讽刺的问题了!

胖胖说他不胖
2026-11-17 09:00:28
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
高层为何在此时考察中山?

高层为何在此时考察中山?

元淦恭说
2026-11-16 22:15:22
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
360集团:内审发现员工涉嫌经济问题,其正在接受有关部门调查

360集团:内审发现员工涉嫌经济问题,其正在接受有关部门调查

每日经济新闻
2026-11-17 11:55:04
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
西安女大学生被系书记猥亵,不堪折磨上吊自尽,遗书内容曝光

西安女大学生被系书记猥亵,不堪折磨上吊自尽,遗书内容曝光

夜话奇谭
2026-11-17 13:37:52
2026-11-17 15:51:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14493文章数 142758关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

美国"火神"火箭发射失败致40颗卫星损失 美军有点慌了

头条要闻

美国"火神"火箭发射失败致40颗卫星损失 美军有点慌了

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

时尚
艺术
旅游
本地
亲子

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

艺术要闻

寸境宏光——2026中国小幅油画展 作品选四

旅游要闻

只卖风景的海岛,已经很难打动中国游客

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

当你有个听不懂反话的儿子

无障碍浏览 进入关怀版