TL;DR: 研究问题：当前的多智能体系统和工具集成推理方法在复杂问题解决中存在显著局限性，包括计算开销高、泛化能力有限、缺乏数据驱动的优化能力，以及无法支持端到端的多智能体协作。

研究方法：本文提出了一种新型的 LLM 推理范式——Chain-of-Agents（CoA），通过多 Agents 蒸馏和 Agentic RL 训练 Agent Foundation Models (AFMs)，使单个模型能够动态激活不同的工具智能体和角色扮演智能体，模拟多智能体协作的端到端问题解决流程。

0.1. 背景介绍

0.1.1. 多 Agents 系统的问题

现在的多 Agents 系统需要研究人员为每个 Agent 设计提示词并手动编排他们之间的工作流程和通信协议，这存在多个缺点：

• 计算效率低下
• 泛化能力差
• 无法通过数据学习持续改进

0.1.2. 工具集成推理

而另一条技术路线是工具集成推理（Tool-Integrated Reasoning, TIR）。这种方法训练一个 LLM 按照 ReAct 的步骤来使用 tools，这比手动提示更高效、更强大。但它本质上仍然是"单线程"的，无法模拟多智能体之间丰富的、并行的协作模式。

0.2. Chain-of-Agents 范式概述

本文提出了Chain-of-Agents（CoA）范式，旨在取两家之长，弃两家之短。它希望在一个模型内部，原生地、端到端地实现复杂问题解决，其能力堪比一个多智能体系统，但其形态和效率却像一个 TIR 模型。论文将求解这类复杂问题（指原本需要多 Agents 才能解决的复杂问题）的模型称为Agent Foundation Models（AFMs）。

0.2.1. 主要贡献

1. 一种名为 Chain-of-Agents 的基于 LLM 的问题求解范式，这种范式希望在单一模型中整合多智能体协作的能力。
2. 一种多 Agents 蒸馏框架，可以将最先进的多 Agents 的能力蒸馏到一个 model 中，并设计了一种 Agentic 强化学习框架，通过强化学习来优化 Agent 模型。
3. 使用本文提出的方法来训练 AFM，展示了 AFM 在多跳问答系统、网络搜索、代码生成和数学推理任务中均达到了新的 SOTA 水平，其性能优于 TIR 方法。

0.3. 方法详解

0.3.1. Chain-of-Agents 范式

CoA 的核心思想非常直观：为什么不把一个多智能体系统的协作过程，看作是模型内部的一种特殊"思维链"呢？

传统的思维链是"一步一步地想"，而 CoA 是"一个角色一个角色地切换着去想和做"。

在 CoA 范式中，给定一个复杂的查询后，模型不会固定地执行"想 - 搜 - 读"的循环，相反，它会在内部动态地激活不同的"子模块"或"角色"：

• Role-playing Agents：负责高层次的认知和协调
• Tool Agents：负责执行具体的领域任务

AFM 的训练包含了两步：

1. Agentic SFT：通过多 Agents 系统做 sampling 得到 behavior 数据，然后将这些 behavior 数据整理成一种特殊的 trajectory 用于作为 SFT 数据。
2. Agentic RL：通过 RL 强化 model 去更高效、更可靠地协调 tools 来解决难题。

0.3.2. Agentic SFT

目标是让模型"学会" CoA 的行为模式。方法是多智能体知识蒸馏。

论文首先设计了一个由多种 Agents 编排后的 workflow，并运行这个 workflow 来收集 behavior 数据：

然后将收集后的数据整理成如下格式的 trajectory 来做 SFT：

SFT 的 loss 就是Observation Masking Loss。

注意：具体如何做的数据清洗和质量过滤可以参考原论文。

0.3.3. Agentic RL

做 RL 之前也要先做训练数据的质量过滤，过滤出真实需要 Tool call 的 queries。

0.3.3.1. 数据采样

这一步从开源数据集中筛选出那些真正需要工具才能解决的、有挑战性的查询。

• Web Agent：先用一个强大的 LLM（Qwen-72B）尝试直接回答问题，如果正确率超过 30%，说明这个问题可能不需要工具或已被模型记忆，则被过滤掉。剩下的才是 RL 训练的"硬骨头"。
• Code Agent：用一个较小的 AFM 模型尝试多次解决问题，如果一个题目每次都能被轻松解决，说明它不够难，也会被丢弃。

0.3.3.2. Reward Function 的设计

• Web Agent 奖励（R_web）：
  • 结果导向。直接使用 LLM-as-a-Judge（让另一个 LLM 当裁判）来判断最终答案是否正确。正确则奖励为 1，否则为 0。这种设计简单直接，避免了复杂的奖励塑造可能带来的问题。
• Code Agent 奖励（R_code）：
  • 结果 + 格式。奖励 = score_answer * score_format。
    • score_answer 由代码是否通过测试或答案是否正确决定（1 或 0）。
    • score_format 则检查工具调用（如代码块）的格式是否正确（1 或 0）。
    • 这意味着，即使代码逻辑正确，如果格式错误导致无法执行，也得不到奖励。

通过 RL 优化，模型在 SFT"模仿"的基础上，进一步学会了如何更高效、更可靠地协调工具来解决难题。

0.4. 实验结果

0.4.1. 实验设计

论文在 Web 和 Code 两大智能体任务上进行了详尽的实验，结果显著。

1. 多智能体蒸馏：从先进的 MAS 系统（如 OAgents）中提取协作轨迹，转化为 CoA 兼容的训练数据，用于监督微调（SFT）。
2. 智能体强化学习：在可验证的智能体任务上优化模型，设计任务相关的奖励函数（如 Web Agent 的二元正确性奖励和 Code Agent 的格式-答案联合奖励）。
3. 评估基准：在 Web Agent（GAIA、BrowseComp、HLE）和 Code Agent（LiveCodeBench、CodeContests）任务上对比 AFM 与现有方法（如 ReAct、TIR、传统 MAS）。

0.4.2. 结果与分析

1. 性能提升：AFM 在多个基准上达到 SOTA。
2. 效率优势：相比传统 MAS，AFM 减少 84.6% 的推理令牌消耗，同时支持动态智能体编排。
3. 泛化能力：AFM 在未见过的智能体任务（如代码智能体调用搜索工具）中展现零样本适应性。

0.4.3. 泛化性分析

一个有趣的实验是：将一个只在"代码"任务上训练过的 AFM 模型，突然赋予它"网页搜索"和"视觉检查"等它从未见过的工具描述，它能否正确使用？

结果是：**可以！模型能够严格遵循提示词中的格式要求，在第一次尝试中就正确协调使用了这些新工具。**这证明了 CoA 范式强大的零样本泛化能力。

AFM 在性能、效率和泛化性上显著优于现有方法，为智能体模型的训练与应用提供了新方向。本文开源了模型权重、训练数据和代码，以推动后续研究。