上海 AI Lab 开源 Sage S2.1 Flash 技术报告:四项智能体基准 SOTA,科学多模态感知如何融入通用智能体?

封面拼图:分子与蛋白质结构、光谱波形、CT 体数据、涡轮机械、代码与数据图表五块科技面板

披露总参数量达 320B 的混合专家模型的完整训练流程与技术细节。

机器之心 Alxiv 栏目宣传图

只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。

CT 序列定向匹配:输入切片与 0° / 90° / 180° / 270° 候选方向比对,按参考匹配分数与相邻切片一致性判定朝向

区域邻接与全局切片排序:139 张目标切片恢复全局顺序,附相邻切片一致性曲线与 Agent 输出

把排好序的切片导入 3D Slicer,重建出绿色胸廓与脊柱三维模型(右侧为 Agent Output)

近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学院自动化研究所、华东师范大学、哈尔滨工业大学、北京大学等多家科研机构与高校,正式发布 Sage S2.1 Flash 技术报告。报告系统披露了这一总参数量达 320B 的混合专家(Mixture-of-Experts,MoE)模型的完整训练流程与技术细节,读懂分子和光谱、接连调用工具、在专业软件中交付作品,这几项本领如今集中在了同一个模型身上。

[!abstract] 一句话概括
「科学多模态」和「通用智能体」长期是两条赛道:前者要专用编码器(分子、蛋白、核酸、光谱),后者要通用工具调用与界面操作。Sage S2.1 Flash 的赌注是把科学数据映射进语言模型的统一表示空间,让一个 320B MoE 主干同时承担两件事——不必为每个科学模态单开一个模型,也不必为工具调用再单开一个 Agent。四项 SOTA 里三项(OfficeQA Pro、Harvey LAB、SpreadsheetBench 2)其实是办公与工具任务,这恰恰说明科学能力没有牺牲通用性。

项目 内容
模型 Sage S2.1 Flash,320B 参数混合专家(MoE)
发布方 上海人工智能实验室,联合复旦、中科院软件所、人大、中科院自动化所、华东师大、哈工大、北大等
科学感知模块 Sage Sci-Perception(MoleculeSTM / ESM-2 / DNABERT-2 / RNA-FM / DiffSpectra)
工具训练框架 ToolSpace(2,042 种工具、77,760 个调用模式节点、804 个环境)
评测规模 7 大领域、33 项基准
四项第一 MLE-bench Lite 90.3(HumanRank)、OfficeQA Pro 72.2、Harvey LAB 25.0、SpreadsheetBench 2 37.1
四个第二 PostTrainBench 39.2、PaperBench 88.0、OSWorld-Verified 85.2、WebArena-Verified 67.6

上线首周,好评不断

上线首周,Sage S2.1 Flash 在真实用户的实际使用中收获了不少积极反馈,多名体验者评价模型「快且聪明」,在多轮任务测试中感受到流畅的工具调用体验;在更贴近实际开发的场景中,模型也能承担完整的任务执行;在「鹈鹕测试」中,模型生成的画面也获得了体验者的大力肯定。

用户反馈截图:评价模型「快且聪明」「工具调用特别流畅」,称其为「国模 flash 之光」

鹈鹕测试:模型生成 pelican-bike.html,画面是一只骑自行车的鹈鹕,附带小鱼细节

统一科学多模态架构,让模型直接理解科学数据

Sage S2.1 Flash 采用 320B 混合专家(MoE)架构,通过动态专家路由控制推理计算量,并结合稀疏注意力与线性注意力支持长上下文处理。模型主干能够在共享上下文中处理文本、图像和科学数据表示,为复杂推理与多步骤任务执行提供基础。

这一通用模型主干为科学数据理解、代码执行、复杂检索和专业软件操作提供了共享的推理能力,也为进一步接入科学专用模态奠定了架构基础。

Sage S2.1 架构图:上方分「通用任务」与「科学任务」两条输入路径,文本经 Text embedding、图像经 Vision encoder、科学数据经 Sage Sci-Perception 进入模型主体,输出响应与动作

Sage Sci-Perception:将结构化科学数据接入通用语言模型

针对分子、蛋白质、核酸及光谱等科学数据,研究团队设计了 Sage Sci-Perception 科学多模态感知模块,采用 MoleculeSTM(分子结构)、ESM-2(蛋白质序列)、DNABERT-2(DNA)、RNA-FM(RNA)、DiffSpectra(光谱数据)等专用编码与表示方法,提取原子连接、序列依赖及连续测量信号等特征,并通过可训练的模态投影器映射至语言模型的统一表示空间。

训练阶段结合监督学习与强化学习,构建分子性质分类、蛋白质相互作用位点预测、原子计数及结构关系查询等可验证任务,利用分类准确性、集合重叠度和数值误差等指标提供奖励信号。

科学模态 专用编码器
分子结构 MoleculeSTM
蛋白质序列 ESM-2
DNA DNABERT-2
RNA RNA-FM
光谱数据 DiffSpectra

Sage Sci-Perception 接口架构:(a) 科学输入与编码,(b) 感知接口——经 science embeddings 送入原生语言模型并联合优化

规模化可验证环境:构建智能体后训练体系

为提升模型在复杂任务中的自主执行能力,研究团队构建了覆盖工具调用、信息检索、软件工程、机器学习实验、网络安全、专业工作空间和视觉交互的可验证的训练环境,并通过独立的科学强化学习机制优化科学多模态理解能力。

ToolSpace:从真实工具调用中自动构建复杂任务数据

在工具调用能力训练中,研究团队提出 ToolSpace 框架,从 MCP 工具服务与真实智能体轨迹中提取工具定义、调用参数及执行结果,构建涵盖数据传递、环境状态变化和失败恢复关系的工具组合图。

基于状态感知随机游走,系统自动生成跨工具、跨环境的调用序列,并通过执行条件检查、失败回滚与重新采样确保序列可执行。随后将成功轨迹转化为自然语言任务,生成针对最终状态、关键中间状态及输出字段的验证程序,筛选可复现的训练数据。

最终构建了覆盖 2,042 种工具、77,760 个调用模式节点和 804 个环境的工具协作空间,生成的监督微调轨迹平均包含 18.86 次工具调用,最长达 209 次,平均跨越 2.29 个环境。

ToolSpace 规模指标 数值
覆盖工具数 2,042 种
调用模式节点 77,760 个
覆盖环境 804 个
轨迹平均工具调用次数 18.86 次
轨迹最长工具调用次数 209 次
轨迹平均跨越环境数 2.29 个

ToolSpace 框架图:(a) 工具空间理念——Agent 经 ToolSpace 调用搜索、读写、编辑等原子工具并连接 MCP 服务;(b) 智能体工具使用流水线,含 Stage 1 工具空间探索与 Stage 2 可验证任务合成

ML Coding:构建可执行、可验证的机器学习科研任务

在机器学习工程方面,研究团队构建了从真实科研材料收集、任务合成到实验执行验证的自动化训练流水线。系统整合 4,936 条 Kaggle 数据来源、2,960 篇研究论文,以及 Hugging Face、GitHub 等平台的代码与数据资源,通过数据接口、训练入口和评测指标匹配数据集与算法实现,并在固定依赖的容器中验证环境可用性。

训练任务涵盖预测建模、算法实现、论文复现和模型后训练。其中,系统通过移除损失函数、特征变换或参数更新等核心代码,构建需要模型自主补全的算法任务;对于开放式实验,则要求智能体自行设计方案并执行训练。

最终,所有任务通过 Harbor 封装为可复现环境,将任务指令、执行环境与私有评测程序隔离,并通过代码运行结果、预测指标和模型权重验证任务完成情况。

可扩展任务合成与 rollout 采样:上部为真实任务收集 → 种子任务生成 → 任务池扩展,下部为多步 GUI 操作轨迹的 rollout、拒绝采样与训练数据筛选

视觉智能体:从界面感知到连续操作

科学研究不仅需要理解专业数据,还涉及大量图形界面的软件操作。为此,研究团队采用分阶段训练策略,提升模型在动态视觉环境中的任务执行能力。

  • 第一阶段:使用图像识别和单步点击任务,训练模型理解界面元素、定位交互目标,并根据当前图像选择正确操作。
  • 第二阶段:将这些能力扩展到复杂的连续操作任务。模型需要在每一步读取当前界面,判断任务进展,执行操作,并根据新的截图决定下一步动作。训练任务通过延长操作序列、增强步骤之间的依赖关系,提高模型对环境状态跟踪和长流程规划的要求。

此外,研究团队还构建了覆盖信息检索、软件工程、网络安全及生产力工具等领域的多样化可验证训练环境,涵盖多跳检索、代码开发、漏洞分析,以及 PPT、Excel、法律文档和三维工程设计等复杂任务。各方向围绕真实数据与专业任务需求,建立了从数据收集、任务合成、环境构建到结果验证的完整流程,并根据不同领域的特点设计相应的评测机制,将事实与证据核验、程序执行、环境状态检查和最终交付物验证纳入训练过程。

33 项基准评测,检验复杂任务执行能力

研究团队在智能体编程、办公生产力、工具使用、机器学习工程、深度研究、信息检索和视觉交互七大领域开展了 33 项基准评测。

33 项基准对比柱状图:Sage S2.1 Flash 与 DeepSeek、Qwen、GLM、GPT、Claude 等模型在 MLE-bench Lite、OfficeQA Pro、Harvey LAB、SpreadsheetBench 2、AutomationBench 等基准上的得分

完整评测成绩表:Sage S2.1 Flash 与 GLM-5.3-Flash、DeepSeek-V4.1-Flash-1017 等模型在代码、工具使用、检索等维度的逐项对比

四项第一

基准 领域 成绩
MLE-bench Lite 机器学习工程 90.3(HumanRank)
OfficeQA Pro 办公生产力 72.2
Harvey LAB 专业工作空间 25.0
SpreadsheetBench 2 办公生产力 37.1

在机器学习工程任务 MLE-bench Lite 中,Sage S2.1 Flash 取得 90.3 HumanRank,在主要对比模型中位列第一。在 OfficeQA Pro、Harvey LAB 和 SpreadsheetBench 2 中,模型分别取得 72.2、25.0 和 37.1,同样位列第一。

四个第二

基准 领域 成绩
PostTrainBench 模型后训练 39.2
PaperBench 论文复现 88.0
OSWorld-Verified 桌面操作 85.2
WebArena-Verified 网页交互 67.6

PostTrainBench 和 PaperBench 分别取得 39.2 和 88.0,桌面操作评测 OSWorld-Verified 和网页交互评测 WebArena-Verified 分别取得 85.2 和 67.6,均位列主要对比模型第二。

[!note] 关于「SOTA」的边界
四项第一集中在机器学习工程、办公生产力、专业工作空间这三类任务上;桌面操作(OSWorld-Verified 85.2)与网页交互(WebArena-Verified 67.6)都是第二。也就是说,「四项 SOTA」不等于「全面领先」——界面操作这条线仍是第二梯队。所有成绩的对比范围是文中列出的主要基线模型,不含未参与评测的模型。

面向真实科研软件,探索端到端科学任务执行

研究团队进一步展示了 Sage S2.1 Flash 在三维工程设计、科学数据分析和科研文献研究中的应用。

工程建模

在工程建模任务中,模型根据图像和设计要求操作 Blender 与 CAD 软件,构建建筑、涡扇发动机和卡车底盘等三维模型,生成能够进一步编辑和检查的工程文件。

Blender 建模成果:带悬挑玻璃体块与垂直格栅的多层建筑三维渲染,背景为密集城市街区

涡扇发动机三维模型:彩色叶片的转轴组件内部结构

CAD Harness 界面中的卡车底盘装配模型:左侧面板显示 1012 个零件与装配验证信息

科学软件分析

在科学软件分析任务中,模型使用 Fiji、EEGLAB 和 QGIS 等专业工具完成显微图像处理、脑电信号分析和遥感数据对比。

Fiji / ImageJ 显微图像处理:ROI Manager 中的细胞核轮廓与原图对照,核对是否为同一细胞核

EEGLAB 脑电信号分析:FPz 通道在 0–5s、24–29s、100–105s、200–205s 四个时间窗的波形,灰线为移除前、红线为移除后

QGIS 遥感对比:Peyang Lake 水域变化掩膜地图与 Water analysis 面板,项目重新打开后含 22 个有效图层

科学深度研究

在科学深度研究案例中,模型围绕光学量子存储问题开展文献检索、实验参数提取、模拟计算与可视化,并生成可交互的研究应用。

Sci Deep Research 生成的科普页「让光多经过晶体几次」:光腔示意图(两端反射镜夹晶体、腔内多次往返),标注回波效率 70.6%,右侧附文献证据卡片

同一研究的追问页「追查光在哪里损失」:解 A / 解 B 两组晶体腔参数对照,展示相同读出效率下反射率的差异

生成的交互式研究应用页面:入射镜—晶体—镜光腔示意图、左侧参数与效率面板、右侧文献卡片

结语

今天,曾经皓首穷经的书生终于推开了书斋的大门,深入科学的现场,触碰世界的运行规律。通往通用科学智能体的道路才刚刚铺开,而每一次向真实世界的迈步,恰如人类文明初次仰望星空、丈量大地,正引领我们走向那个鲜活而辽阔的「真实」。

现在,你也可以将自己的任务交给 Sage S2.1 Flash,探索它在不同场景中的表现。

体验链接:https://discovery.intern-ai.org.cn/token-plan/home