NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进 Agent 大脑

1. NeurIPS 2026|不再依赖外挂:清华把「自我进化技能」训进 Agent 大脑

[!abstract] 速览

  • 技能(Skill)能够将交互经验提炼为可复用的操作流程与任务策略,使一次任务的收获服务于后续任务。
  • 有价值的技能改进,应当让原来失败的相似任务在后续更容易成功,让原来已经成功的任务以更少的步骤完成。
  • 框架包含三个组成部分:基于轨迹的技能审视、反事实技能效用奖励和 DualAdv-GRPO 联合优化。
  • SkillMaster 在 ALFWorld 和 WebShop 上均取得所比较方法中的最佳表现,任务成功率分别达到 98.7% 和 82.0%,较 SkillRL 提高 8.8 和 9.3 个百分点。
  • 训练期间,效用奖励为正的修改才会写入持久技能库。
  • 在 WebShop 上,从空技能库出发,同时开启技能构建与检索后,成功率从 65.63% 提升至 71.88%,表明训练后的策略能够根据新交互生成并复用有用技能。

清华大学团队提出 SkillMaster 框架,训练智能体自主创建、更新和保留技能,使技能进化与任务执行共同学习,显著提升 ALFWorld、WebShop 和 SearchQA 上的任务性能。

1.1. 摘要

本文介绍清华大学李勇教授团队提出的 SkillMaster 框架,该方法通过联合学习任务执行与技能进化,使智能体能够自主创建、更新和保留技能。核心思想是将技能编辑转化为可观察的效果:失败任务变得更容易成功,成功任务以更少步骤完成。框架包含三个组成部分:基于轨迹的技能审视、反事实技能效用奖励和 DualAdv-GRPO 联合优化。实验在 ALFWorld、WebShop 和 SearchQA 上均取得最佳性能,ALFWorld 任务成功率达 98.7%,WebShop 达 82.0%,SearchQA 总体得分 48.0%。消融实验表明效用反馈、分离优势估计和相关任务选择对性能至关重要。

1.2. 主要内容

  1. SkillMaster 让智能体学会自主创建、更新和保留技能
    通过将技能编辑转化为可观察的效果(失败任务更易成功、成功任务更高效),训练同一个策略同时学习任务执行与技能管理,实现技能进化与任务执行的共同学习。
  2. 框架包含三个关键组成部分
    基于轨迹的技能审视通过模型调用创建/更新/保留技能;反事实技能效用奖励评估修改对下游任务的实际影响;DualAdv-GRPO 分别计算任务执行与技能管理的优势,实现联合优化。
  3. 在多个基准上取得最佳性能
    ALFWorld 任务成功率达 98.7%(较 SkillRL 提高 8.8 个百分点),WebShop 达 82.0%(提升 9.3 个百分点),SearchQA 总体得分 48.0%(提升 0.9 个百分点),显著优于比较方法。
  4. 消融实验验证了各组件的必要性
    去掉技能效用奖励、改用合并优势归一化或随机选择探测任务均导致性能下降,支持效用反馈、分离优势估计和相关任务选择对框架成功的关键作用。
3D 黏土质感的机器人卡通形象,穿围裙、手持螺丝刀,正在修补自己的机械手

SkillMaster:让智能体学会进化自己的技能

机器之心 AIxiv 栏目横幅:传播学术,共享智能,附栏目简介与投稿邮箱 z@jqzx.ai

随着递归自我改进(Recursive Self-Improvement,RSI)研究的兴起,智能体的长期能力演进受到更多关注。技能(Skill)能够将交互经验提炼为可复用的操作流程与任务策略,使一次任务的收获服务于后续任务。让智能体学会自主创建和改进这些技能,为其持续进化提供了一条具体路径。

图 1 两联示意图:左图已有方法由 External Manager 管理 Skill Bank、智能体检索技能;右图 SkillMaster 让 Agent policy 通过 Skill Manage Tools 直接读写 Skill Bank,形成 Retrieve、Tool Call、Skill Manage 三类循环

图 1 左:外部模块负责管理技能,智能体检索并使用技能。右:SkillMaster 将技能管理纳入智能体自身的策略,与任务执行共同学习。

然而,现有方法中的技能创建与更新,通常依赖外部教师模型、预设规则或辅助模块(图 1 左)。执行任务的智能体学会了使用技能,却很少被直接训练去改进技能。要沿着这条路径实现自主改进,还需要让 “如何进化技能” 成为智能体自身可以学习的能力(图 1 右)。

清华大学李勇教授团队提出了 SkillMaster,相关论文已被 NeurIPS 2026 录用,论文第一作者为北京中关村学院博士生杨敏。

[!important] 有价值的技能改进长什么样
研究以一个直观的洞察为出发点:有价值的技能改进,应当让原来失败的相似任务在后续更容易成功,让原来已经成功的任务以更少的步骤完成。

SkillMaster 将这两类效果转化为技能编辑的学习信号,训练同一个智能体根据交互经验创建、更新和保留技能,使技能进化与任务执行共同进入强化学习过程。

论文标题卡:SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents,下方为七位作者的署名与编号
项目 内容
论文题目 SKILLMASTER: Toward Autonomous Skill Mastery in LLM Agents
Author Min Yang, Jinghua Piao, Xu Xia, Xiaochong Lan, Jiaju Chen, Yongshun Gong, Yong Li
Affiliation Shandong University, Zhongguancun Academy, Tsinghua University, Southeast University, University of Science and Technology of China
arXiv https://arxiv.org/abs/2605.08693
GitHub https://github.com/sduyangmin/Skill-Master

1.3. 核心洞察:让失败的任务更容易成功,让成功的任务完成得更高效

要训练智能体改进技能,首先需要知道一次修改给后续任务带来了什么。仅用任务最终是否成功作为奖励,难以区分执行能力与技能质量,更难为某一次技能编辑提供明确的反馈。

为此,SkillMaster 关注技能修改对后续相关任务的实际影响。一条技能如果补上了已有知识的缺口,应当提高原先失败任务的成功机会;如果改进了已有的操作策略,应当让已经能够解决的任务减少不必要的步骤。这两种可观察的变化,为衡量技能修改的效果提供了依据。

1.4. 方法框架:联合学习任务执行与技能进化

[!note] 三个必须先回答的问题
要让智能体学会自主创建、修订和保留技能,需要解决三个问题:依据什么提出修改、如何评价修改的价值,以及如何联合优化任务执行与技能管理。SkillMaster 分别通过基于轨迹的技能审视、下游效用奖励和 DualAdv-GRPO 实现这三个环节

图 2 方法框架三联图:(a) 轨迹设计,Step1–5 的 Observation/Thinking/Action 序列与成败结果;(b) 反事实效用评估,用探测任务对比修改前后的任务得分;(c) DualAdv-GRPO 的分组并行采样与 token 级优势分配

图 2 SkillMaster 的三个组成部分:基于轨迹的技能审视、反事实技能效用奖励,以及 DualAdv-GRPO 联合优化。

1.4.1. 基于交互轨迹学习技能管理

技能审查阶段将任务目标、已检索技能、行动与观察轨迹、最终反馈一起提供给模型。模型通过 propose_skill、update_skill 和 keep_skill 三类工具调用,分别执行创建、更新和保留操作。例如,发现已有技能未覆盖某种搜索策略时,可以补充新技能;观察到实际反馈与已有操作规则冲突时,可以修订原有技能。

任务动作和技能工具调用由同一个策略生成,因此技能管理也直接纳入模型训练。SkillMaster 先通过监督微调,让模型具备基本的任务执行与工具调用能力,再利用技能效用反馈,通过强化学习优化创建、更新和保留技能的决策。

1.4.2. 通过反事实对照评价技能效用

对于候选技能编辑,系统选取一组相关的探测任务,分别使用原始技能库与临时修改后的技能库执行,直接比较修改带来的下游变化。原先失败的任务是否转为成功、原先成功的任务是否减少执行步骤,都会体现在效用评分中,为技能编辑提供直接的训练反馈。

探测任务来自训练任务池,并依据任务类别、商品类别或问题语义相似度选择。

[!tip] 效用为正才入库
系统综合考虑探测任务的平均得分变化,以及表现改善和退化的任务数量,计算效用奖励,并据此优化技能编辑决策。训练期间,效用奖励为正的修改才会写入持久技能库。

1.4.3. DualAdv-GRPO 联合优化两类决策

任务执行主要依赖环境结果反馈,技能管理则使用工具调用有效性和下游效用反馈,两类奖励具有不同的尺度与含义。为此,SkillMaster 提出 DualAdv-GRPO,分别计算任务执行与技能管理的优势,再分配给对应的生成内容,共同更新同一个策略。模型由此同时学习有效执行任务和改进可复用技能。

1.5. 实验结果:从任务表现到技能进化能力

实验基于 Qwen2.5-7B-Instruct,覆盖 ALFWorld、WebShop 和 SearchQA。其中,ALFWorld 包含六类模拟家庭任务,WebShop 考察多步商品搜索与购买,SearchQA 覆盖七个单跳和多跳问答数据集。

基准 主要指标 SkillMaster 较 SkillRL
ALFWorld 任务成功率 98.7% +8.8 个百分点
WebShop 任务成功率 82.0% +9.3 个百分点
SearchQA 总体得分 48.0% +0.9 个百分点
表 1 主实验结果:行为方法名,列为 ALFWorld 的 Pick、Look、Clean、Heat、Cool、Pick2、All 与 WebShop 的 Score、Succ.;SkillMaster 一行加粗,All 为 98.7、Succ. 为 82.0

表 1 ALFWorld 与 WebShop 主实验结果。

如表 1 所示,SkillMaster 在 ALFWorld 和 WebShop 上均取得所比较方法中的最佳表现,任务成功率分别达到 98.7% 和 82.0%,较 SkillRL 提高 8.8 和 9.3 个百分点。ALFWorld 六类任务中有四类达到 100% 成功率,其余两类均超过 95%。

表 2 SearchQA 实验结果:单跳 NQ、TriviaQA、PopQA 与多跳 HotpotQA、2Wiki、MuSiQue、Bamboogle 各列,末列为 Overall;SkillMaster 为 49.1、62.9、47.0、45.6、41.6、20.5、70.7,Overall 48.0

表 2 SearchQA 七个数据集的实验结果。

如表 2 所示,在 SearchQA 上,SkillMaster 的总体得分达到 48.0%,为所比较方法中的最高值,较 SkillRL 提高 0.9 个百分点。七个数据集中有五个优于 SkillRL,体现出该框架在搜索增强问答任务中的效果。

图 3 三联图:左为 ALFWorld 与 WebShop 的组件消融柱状图,中为 Propose/Update 比例与 Keep 比例随训练步变化的折线图,右为技能库规模随训练步增长的柱状图

图 3 左:组件消融结果。中:技能管理操作比例的变化。右:技能库规模的变化。

如图 3 左侧所示,去掉技能效用奖励、改用合并的优势归一化,或随机选择探测任务,均会降低表现,支持效用反馈、分离优势估计和相关任务选择的作用。图 3 中间和右侧分别展示了技能管理行为与技能库规模的变化。

在 ALFWorld 训练中,训练早期,创建和更新操作较为活跃,训练后期,保留技能的比例从约 81.25% 升至 97.66%。这一过程体现了模型从补充和修订技能,逐步转向保留已积累技能的行为变化。作者还固定训练后的模型参数,检验其在测试交互中构建技能的能力。此时不使用反事实探测和效用反馈,合法的技能管理操作直接执行,并供后续任务复用。在 WebShop 上,从空技能库出发,同时开启技能构建与检索后,成功率从 65.63% 提升至 71.88%,表明训练后的策略能够根据新交互生成并复用有用技能。

1.6. 案例分析:根据执行证据创建和修订技能

图 4 案例三联板:Case 1 由轨迹提出新技能,Case 2 修订旧技能,Case 3 用探测任务对比修改前后——BEFORE 用 8 步、AFTER 用 2 步,节省 6 步

图 4 智能体从任务轨迹中发现技能缺口、纠正已有规则,并在相关任务上验证修改效果。

如图 4 所示,在一个 ALFWorld 冷却任务中,智能体将大量步骤花在低概率出现食物的柜子和抽屉上,最终未能完成任务。复盘时,它识别出已有技能缺少搜索优先级规则,于是创建新技能,指导后续搜索优先考虑与目标物体相关的高概率位置。

另一个案例展示了已有技能的修订。按照 ALFWorld 的交互接口,加热需要在智能体持有目标物体时执行,但旧技能要求先把物体放入微波炉。模型依据轨迹中的反馈修订了这一操作条件。

[!example] 加热从 8 步缩到 2 步
图 4 右侧的对照显示,在相关探测任务中,加热环节从 8 步缩短为 2 步,减少了六次多余操作,直接体现了技能修改的下游效用。

1.7. 研究展望:通过学习技能进化,探索递归自我改进

SkillMaster 从技能这一可复用的知识载体出发,探索智能体递归自我改进的一条路径。智能体在交互中发现知识缺口或低效策略,通过技能编辑改变后续行为,再根据实际效果学习更有价值的编辑决策。任务执行与技能改进相互衔接,使智能体既能积累技能,也能通过训练提升改进技能的能力。

当前方法已在结构化交互环境和搜索增强问答中得到验证。进一步面向开放环境,需要探索更有效的探测任务选择和更低成本的效用评估,并扩展到技能删除、跨智能体共享和分布变化下的持续学习。这些方向有望使技能库与智能体的能力随长期交互共同演进。