网易首页 > 网易号 > 正文 申请入驻

上海AI Lab开源Sage S2.1 Flash技术报告:四项智能体基准SOTA,科学多模态感知如何融入通用智能体?

0
分享至



只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。







近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学院自动化研究所、华东师范大学、哈尔滨工业大学、北京大学等多家科研机构与高校,正式发布 Sage S2.1 Flash 技术报告。报告系统披露了这一总参数量达320B 的混合专家(Mixture-of-Experts,MoE)模型的完整训练流程与技术细节,读懂分子和光谱、接连调用工具、在专业软件中交付作品,这几项本领如今集中在了同一个模型身上。



  • 论文:https://arxiv.org/abs/2611.21072
  • 项目主页:https://internlm.github.io/Sage-S2.1-Flash/
  • Hugging Face:https://huggingface.co/papers/2611.21072
  • Github :https://github.com/InternLM/Sage-S2.1-Flash

上线首周,好评不断

上线首周,Sage S2.1 Flash 在真实用户的实际使用中收获了不少积极反馈,多名体验者评价模型 “快且聪明”,在多轮任务测试中感受到流畅的工具调用体验;在更贴近实际开发的场景中,模型也能承担完整的任务执行;在” 鹈鹕测试” 中,模型生成的画面也获得了体验者的大力肯定。





统一科学多模态架构

让模型直接理解科学数据

Sage S2.1 Flash 采用320B 混合专家(MoE)架构,通过动态专家路由控制推理计算量,并结合稀疏注意力与线性注意力支持长上下文处理。模型主干能够在共享上下文中处理文本、图像和科学数据表示,为复杂推理与多步骤任务执行提供基础。

这一通用模型主干为科学数据理解、代码执行、复杂检索和专业软件操作提供了共享的推理能力,也为进一步接入科学专用模态奠定了架构基础。



Sage Sci-Perception:

将结构化科学数据接入通用语言模型

针对分子、蛋白质、核酸及光谱等科学数据,研究团队设计了Sage Sci-Perception 科学多模态感知模块,采用 MoleculeSTM(分子结构)、ESM-2(蛋白质序列)、DNABERT-2(DNA)、RNA-FM(RNA)、DiffSpectra(光谱数据)等专用编码与表示方法,提取原子连接、序列依赖及连续测量信号等特征,并通过可训练的模态投影器映射至语言模型的统一表示空间。训练阶段结合监督学习与强化学习,构建分子性质分类、蛋白质相互作用位点预测、原子计数及结构关系查询等可验证任务,利用分类准确性、集合重叠度和数值误差等指标提供奖励信号。



规模化可验证环境:

构建智能体后训练体系

为提升模型在复杂任务中的自主执行能力,研究团队构建了覆盖工具调用、信息检索、软件工程、机器学习实验、网络安全、专业工作空间和视觉交互的可验证的训练环境,并通过独立的科学强化学习机制优化科学多模态理解能力。

ToolSpace:从真实工具调用中自动构建复杂任务数据

在工具调用能力训练中,研究团队提出ToolSpace 框架,从 MCP 工具服务与真实智能体轨迹中提取工具定义、调用参数及执行结果,构建涵盖数据传递、环境状态变化和失败恢复关系的工具组合图。基于状态感知随机游走,系统自动生成跨工具、跨环境的调用序列,并通过执行条件检查、失败回滚与重新采样确保序列可执行。随后将成功轨迹转化为自然语言任务,生成针对最终状态、关键中间状态及输出字段的验证程序,筛选可复现的训练数据。最终构建了覆盖2,042 种工具、77,760 个调用模式节点和 804 个环境的工具协作空间,生成的监督微调轨迹平均包含18.86 次工具调用,最长达209 次,平均跨越2.29 个环境。



ML Coding:构建可执行、可验证的机器学习科研任务

在机器学习工程方面,研究团队构建了从真实科研材料收集、任务合成到实验执行验证的自动化训练流水线。系统整合4,936 条 Kaggle 数据来源、2,960 篇研究论文,以及 Hugging Face、GitHub 等平台的代码与数据资源,通过数据接口、训练入口和评测指标匹配数据集与算法实现,并在固定依赖的容器中验证环境可用性。

训练任务涵盖预测建模、算法实现、论文复现和模型后训练。其中,系统通过移除损失函数、特征变换或参数更新等核心代码,构建需要模型自主补全的算法任务;对于开放式实验,则要求智能体自行设计方案并执行训练。最终,所有任务通过Harbor封装为可复现环境,将任务指令、执行环境与私有评测程序隔离,并通过代码运行结果、预测指标和模型权重验证任务完成情况。

视觉智能体:从界面感知到连续操作

科学研究不仅需要理解专业数据,还涉及大量图形界面的软件操作。为此,研究团队采用分阶段训练策略,提升模型在动态视觉环境中的任务执行能力。

  • 第一阶段使用图像识别和单步点击任务,训练模型理解界面元素、定位交互目标,并根据当前图像选择正确操作。
  • 第二阶段将这些能力扩展到复杂的连续操作任务。模型需要在每一步读取当前界面,判断任务进展,执行操作,并根据新的截图决定下一步动作。训练任务通过延长操作序列、增强步骤之间的依赖关系,提高模型对环境状态跟踪和长流程规划的要求。



此外,研究团队还构建了覆盖信息检索、软件工程、网络安全及生产力工具等领域的多样化可验证训练环境,涵盖多跳检索、代码开发、漏洞分析,以及 PPT、Excel、法律文档和三维工程设计等复杂任务。各方向围绕真实数据与专业任务需求,建立了从数据收集、任务合成、环境构建到结果验证的完整流程,并根据不同领域的特点设计相应的评测机制,将事实与证据核验、程序执行、环境状态检查和最终交付物验证纳入训练过程。

33 项基准评测

检验复杂任务执行能力

研究团队在智能体编程、办公生产力、工具使用、机器学习工程、深度研究、信息检索和视觉交互七大领域开展了 33 项基准评测。

四项第一:在机器学习工程任务 MLE-bench Lite 中,Sage S2.1 Flash 取得 90.3 HumanRank,在主要对比模型中位列第一。在 OfficeQA Pro、Harvey LAB 和 SpreadsheetBench 2 中,模型分别取得 72.2、25.0 和 37.1,同样位列第一。

四个第二: PostTrainBench 和 PaperBench 分别取得 39.2 和 88.0,桌面操作评测 OSWorld-Verified 和网页交互评测 WebArena-Verified 分别取得 85.2 和 67.6,均位列主要对比模型第二。



面向真实科研软件

探索端到端科学任务执行

研究团队进一步展示了 Sage S2.1 Flash 在三维工程设计、科学数据分析和科研文献研究中的应用。

在工程建模任务中,模型根据图像和设计要求操作 Blender 与 CAD 软件,构建建筑、涡扇发动机和卡车底盘等三维模型,生成能够进一步编辑和检查的工程文件。







在科学软件分析任务中,模型使用 Fiji、EEGLAB 和 QGIS 等专业工具完成显微图像处理、脑电信号分析和遥感数据对比。







在科学深度研究案例中,模型围绕光学量子存储问题开展文献检索、实验参数提取、模拟计算与可视化,并生成可交互的研究应用。







今天,曾经皓首穷经的书生终于推开了书斋的大门,深入科学的现场,触碰世界的运行规律。通往通用科学智能体的道路才刚刚铺开,而每一次向真实世界的迈步,恰如人类文明初次仰望星空、丈量大地,正引领我们走向那个鲜活而辽阔的 “真实”。

现在,你也可以将自己的任务交给 Sage S2.1 Flash,探索它在不同场景中的表现。

体验链接:https://discovery.intern-ai.org.cn/token-plan/home

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
蒋介石最大的决策失误:错杀瞿秋白,让国民党失去了最后的人心

蒋介石最大的决策失误:错杀瞿秋白,让国民党失去了最后的人心

宅家伍菇凉
2025-11-19 09:30:03
刘震云:富人只要不乱来,一*辈子都是富人;穷人如果也不乱来,一*辈子都只能是穷人

刘震云:富人只要不乱来,一*辈子都是富人;穷人如果也不乱来,一*辈子都只能是穷人

杏花烟雨江南的碧园
2026-11-12 14:15:03
叶檀已在选择“临终关怀病房”,还透露一个好消息,老公将在夏天探望她

叶檀已在选择“临终关怀病房”,还透露一个好消息,老公将在夏天探望她

裕丰娱间说
2026-11-19 07:19:30
扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

头狼追球
2026-11-20 13:01:14
难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

火山詩话
2026-11-19 06:50:50
黄仁勋输得不冤!董事会的十位大佬,一群金融营销精英,到底是怎么上桌的?

黄仁勋输得不冤!董事会的十位大佬,一群金融营销精英,到底是怎么上桌的?

起点人文
2026-11-19 18:49:04
国内金饰克价跌破1100元

国内金饰克价跌破1100元

每日经济新闻
2026-11-20 11:07:05
又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

聊斋新志
2026-11-18 16:53:43
声援巴勒斯坦抗议者遭打压,美国最大穆斯林民权组织被佛州列为恐怖组织,机构停摆并起诉州政府官员

声援巴勒斯坦抗议者遭打压,美国最大穆斯林民权组织被佛州列为恐怖组织,机构停摆并起诉州政府官员

14号观星辰
2026-11-19 17:51:16
没想到,APEC峰会开始仅1天,马斯克小儿子因一举动,再次火出圈

没想到,APEC峰会开始仅1天,马斯克小儿子因一举动,再次火出圈

黄色的泥土
2026-11-20 09:11:06
49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

49岁的特朗普95年来香港,怀中抱着一位神秘中国女孩,她是谁?

板栗说事
2025-02-17 07:54:14
日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

磊子讲史
2026-11-11 17:22:17
卧槽!76人逆转!飙到联盟第一!逆转之王…

卧槽!76人逆转!飙到联盟第一!逆转之王…

詹姆斯吧
2026-11-20 13:09:42
CCTV5直播!中国男篮VS沙特男篮,14人名单出炉,首发5人浮出水面,赵继伟连线周琦组合成为关键取胜点

CCTV5直播!中国男篮VS沙特男篮,14人名单出炉,首发5人浮出水面,赵继伟连线周琦组合成为关键取胜点

凯丰侃球
2026-11-20 07:16:35
南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

纸鸢奇谭
2025-01-17 14:30:03
等了21年!中国U17今晚22点迎U17世界杯首战,对手是西班牙

等了21年!中国U17今晚22点迎U17世界杯首战,对手是西班牙

懂球帝
2026-11-20 06:38:19
19岁探花6投6中,80年历史独一份!悄悄又拿5连胜,头号黑马诞生

19岁探花6投6中,80年历史独一份!悄悄又拿5连胜,头号黑马诞生

锅子篮球
2026-11-20 13:18:44
万斯与特朗普之间的差距有多大?就这么说吧,万斯一旦上台,美国很有可能会迎来翻天覆地的变化

万斯与特朗普之间的差距有多大?就这么说吧,万斯一旦上台,美国很有可能会迎来翻天覆地的变化

千年历史老号
2026-11-20 13:13:36
40万人等待直播,他却心脏骤停在旅馆……韩国传奇学霸拟“自证清白”当天缺席,此前因从差生逆袭满分优等生引关注,被指用AI作弊

40万人等待直播,他却心脏骤停在旅馆……韩国传奇学霸拟“自证清白”当天缺席,此前因从差生逆袭满分优等生引关注,被指用AI作弊

都市快报橙柿互动
2026-11-20 08:17:01
入场时响起雷鸣般掌声!王毅微笑鞠躬致意

入场时响起雷鸣般掌声!王毅微笑鞠躬致意

看看新闻Knews
2026-11-20 01:38:17
2026-11-20 15:19:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14520文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
艺术
家居
旅游
军事航空

亲子要闻

宝宝气人但是聪明的4个行为

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版