Skill 自进化:基于执行轨迹与评测反馈的多代优化实践

1. Skill 自进化:基于执行轨迹与评测反馈的多代优化实践

[!abstract] 速览

  • 业务 Skill 的一次修复,往往从一个失败 Case 开始:看执行过程、找到遗漏的规则、修改 SKILL.md,再跑一遍评测。
  • 我们尝试把这个过程组织为可追溯的搜索闭环:用黄金评测集、Ground Truth 和执行轨迹生成反馈,让模型提出受控修改,再通过全量评测决定是否保留。
  • 进化期间冻结黄金集、Ground Truth、rubric 身份、模型和执行配置,让各版本尽可能在同一口径下比较。
  • 活动前沿是从全局候选池计算得到的临时结果,用于探索而不直接代表上线资格。
  • 子版本完成全量评测后,只与它的直接父版本比较,不与全局候选池中的其他版本做入池判定。
  • 这套设计保留了三组取舍:通过全量评测换取候选可比性,通过单 Module 修改换取边界可解释性,通过全局候选池保留局部优势而不立即只追逐均分。

本文介绍了基于执行轨迹与评测反馈的 Skill 自进化方法,采用 GEPA 框架构建可追溯的搜索闭环,通过候选池、父子入池判定和活动前沿计算实现多代优化,最终选出在黄金评测集上表现最佳的 Skill 版本。

让 Skill 自己“卷”自己,越改越聪明。

装饰图:红色色块横幅

业务 Skill 的一次修复,往往从一个失败 Case 开始:看执行过程、找到遗漏的规则、修改 SKILL.md,再跑一遍评测。

[!note] 两个问题
随着业务场景增加,这种方式会遇到两个问题:修好一个场景时可能破坏另一个场景;连续多次修改后,很难判断哪个版本更好,以及收益来自哪条规则。

我们尝试把这个过程组织为可追溯的搜索闭环:用黄金评测集、Ground Truth 和执行轨迹生成反馈,让模型提出受控修改,再通过全量评测决定是否保留。

[!tip] 三方分工
模型负责提出候选,确定性程序负责边界校验、版本比较和状态维护,人负责业务边界与最终交付。

本文结合业务 Skill 工作台的 Skill 自进化设计,依次介绍方法选择、全局流程、候选池、Module 划分和归因变异提示词。文中的算法与配置保留到可讨论、可实现的粒度,同时说明当前实现与完整设计之间的边界。

装饰图:红色数字 01

1.1. 摘要

文章聚焦业务 Skill 的自进化问题,指出传统修复方式难以追踪和比较不同版本。作者采用 GEPA 方法,构建以黄金评测集、Ground Truth、执行轨迹和 rubric 为核心的反馈闭环。整体流程包括进化准备、初始版本评测、生成反思反馈、变异生成、有效性校验、全量评测、父子入池判定、更新迭代和最终版本确认。候选池设计区分为全局候选池、活动前沿、失败尝试集和当前冠军。入池规则基于父子逐 Case 分数比较,保留整体优于父代或在部分 Case 有新优势的版本。活动前沿计算采用确定性贪心覆盖,确保探索效率。文章详细阐述了候选数据结构、入池规则、前沿计算算法及其数学公式,为业务 Skill 的持续优化提供了系统化方法论。

1.2. 主要内容

  1. GEPA 方法选择理由

    作者通过横向对比 GEPA、SkillOpt、EvoSkill、Trace2Skill 四篇论文,发现 GEPA 能有效利用现有黄金评测集、Ground Truth、Trace 和 rubric 链路,实现反思与验证闭环,同时候选池设计保留不同 Case 上的互补优势。

  2. 全局进化流程设计

    流程分为 10 步:进化准备、初始版本评测、选择父版本、生成反思反馈、反思生成子版本、有效性校验、子版本评测、父子入池判定、更新迭代、最终版本确认。全过程冻结黄金 Case、rubric、执行模型等,确保版本间可比。

  3. 候选池与活动前沿机制

    候选池分为全局候选池、活动前沿、失败尝试集和当前冠军。活动前沿通过确定性贪心覆盖算法计算:先找每个 case 最高分,再找领先候选集合,最后按覆盖数、均分、最差分、创建时间和 ID 排序选出。

  4. 父子入池判定规则

    子版本与直接父版本逐 Case 比较,若父版本在所有 case 上都不差且至少一个严格优于,则子版本不入池;若子版本支配父版本或两者互不支配,则子版本入池。完全相同则视为无效提升。

  5. 采样权重与父代选择

    父代采样概率与候选在活动前沿中领先的 case 数量成正比,确保探索更关注在特定 case 上表现突出的版本,避免整体平均分主导。

1.3. 方法选择:为什么采用 GEPA 的反思搜索思路

我们选取四篇 Agent/Skill 自进化相关论文,结合已有黄金集、Trace 和 rubric 链路做横向对比。对比的重点是优化信号、编辑范围、候选验证和工程适配;各论文的实验收益不能直接当作本项目的业务收益。

论文 arXiv 链接
GEPA https://arxiv.org/abs/2507.19457
SkillOpt https://arxiv.org/abs/2605.23904
EvoSkill https://arxiv.org/abs/2603.02766
Trace2Skill https://arxiv.org/abs/2603.25158
GEPA ✅ SkillOpt EvoSkill Trace2Skill
方法 基于执行轨迹与自然语言反馈反思并提出候选,搜索和利用具有互补能力的版本;本项目进一步采用逐 Case 比较与全局候选池 以受控的增删替换编辑更新 Skill,使用文本学习率预算、拒绝编辑记录和独立验证分数约束优化 Executor、Proposer、Skill-Builder 三个角色分工:执行任务、诊断失败、生成或修改 Skill,再通过验证选择候选 批量收集执行轨迹,分别分析失败与成功经验,提出局部补丁,再分层合并为一致的 Skill 更新
优势 轨迹反思与现有 Ground Truth、rubric、Trace 链路适配;可以搜索不同 Case 上的互补优势。本项目 MVP 先收敛到 SKILL.md 改动受控,不容易把 SKILL.md 越改越长、越改越差 角色职责清楚,支持生成结构化 Skill 文件夹及辅助脚本,修改可追溯 批量分析与补丁合并便于利用大量已有轨迹,适合沉淀初版 Skill 或做批量增强;实际速度取决于并发与数据量
劣势 每个新版本都要在验证 case 上重新评测,耗时较长 需要额外维护编辑预算、训练与验证组织、拒绝历史及慢更新机制;是否值得引入要结合本项目预算测量 多角色编排和 Skill 文件夹生成增加工程复杂度;论文实验使用 Claude Code,但框架并不只限定该环境 核心是批量轨迹分析与合并,并非本文的候选评分搜索循环;若要多代搜索,需要增加候选验证与选择编排

选择 GEPA 思路,主要因为我们已经具备黄金评测集、标准答案、完整执行轨迹和结构化评分,可以复用这些资产建立反思与验证闭环。同时,候选池能够保留不同 Case 上的局部优势,避免搜索过早收敛到单一版本。

需要区分论文方法与项目实现:本文的单 Module 修改、每个候选全量评测、直接父子入池规则和确定性贪心覆盖,是结合业务约束形成的 GEPA-style 工程设计,不全部等同于原论文的固定规则。

1.4. 技术设计:从一次修改到多代搜索

1.4.1. 全局流程

整体流程沿用 GEPA 的核心思想:以黄金评测集上的评测结果和执行轨迹为原始信号,先生成逐 Case 反思反馈,再由反思、归因并产生变异,通过多轮“选择—反馈生成—反思变异—全量评测—择优保留”持续搜索更优的 Skill 版本。进化期间冻结黄金集、Ground Truth、rubric 身份、模型和执行配置,让各版本尽可能在同一口径下比较。服务端动态数据与模型随机性仍需通过运行证据和复测披露,不能仅凭配置冻结就认为所有波动已经消失。

全局流程图「Skill 多代自进化全局流程」:准备阶段为冻结输入与审核 Module、种子版本全量评测、种子入池;多代自进化搜索循环包含全局候选池 P、预算耗尽判断、重算活动前沿并采样父版本、读取全部 Case 生成归因反馈、选择唯一可变 Module 生成子版本、父子入池判定、子版本全量评测、静态检查与隔离部署;交付阶段按全池均分选择冠军、恢复种子版本并生成报告、规范检查与人工确认、写回 SKILL.md、独立发布提交与评审

整体流程分为以下步骤:

  1. 进化准备:确定本轮要优化的 Skill,冻结黄金评测集、评测标准、执行模型、工具与运行环境,并设置最大生成轮次与子候选评测预算,完成 Module 人工审核。基线评测与模型反思成本应另行记录。
  2. 初始版本全量评测:使用当前 Skill 并发运行全部黄金 case,记录每个 case 的执行轨迹和结构化评测结果,包括总分、逐维度得分、原子问题答案及判分证据,形成版本比较的基线。评测阶段本身不生成面向 Skill 优化的反思反馈。
  3. 选择父版本:从当前已经保留的版本中选择一个父版本,作为本轮继续探索的起点。父版本已有的全量评测产物直接复用,无需重复运行。
  4. 生成反思反馈:读取父版本的逐 case 执行轨迹和结构化评测结果,并结合黄金评测期望,生成供反思 LM 使用的逐 case 反思反馈。该反馈是自进化流程根据评测产物生成的派生数据,不是现有评测系统直接保存的字段。
  5. 反思与生成子版本:基于逐 case 反思反馈进行归因,生成一个新的子 Skill 版本。本步骤只负责提出一次定向变异。
  6. 有效性校验与隔离部署:确认子版本结构完整、能够被正确加载和执行,然后部署到隔离的评测环境,避免影响当前正式版本。
  7. 子版本全量评测:对新子版本并发运行全部黄金 case,得到与父版本口径完全一致的逐 case 分数、执行轨迹和结构化判分结果。评测完成后不立即额外生成反馈;该版本后续被选为父版本时,再进入反馈生成步骤。
  8. 父子入池判定:比较子版本与直接父版本的逐 Case 分数,不比较全量平均分。若父版本在所有 Case 上均不差于子版本,并且至少在一个 Case 上严格优于子版本,则父版本严格支配子版本,子版本不进入候选池;若子版本支配父版本,或二者互不支配,则子版本进入候选池。父子逐 Case 分数完全相同时,视为无有效提升,子版本不入池。无论是否入池,都记录本轮变异、父子关系、评测结果和判定原因,保证过程可追溯。
  9. 更新并继续迭代:子版本通过父子入池判定后,加入全局候选池。若预算尚未耗尽,则在下一轮开始时基于全局候选池重新计算逐 Case 领先候选的活动前沿,并从活跃前沿中选择新的父版本;否则结束搜索。候选即使已经入池,后续被其他候选严格支配时,也不会进入活跃前沿和父版本采样范围,但其版本及评测记录仍保留在候选池中。
  10. 最终版本确认与发布:搜索结束后,从全部已保留版本中选出黄金评测集平均得分最高的版本,完成规范检查并输出版本差异和进化报告。搜索结束先恢复评测空间种子版本,报告进入最终评审。经人工确认与规范检查后写回目标 SKILL.md,发布、提交和代码评审按独立流程执行。

1.4.2. 候选池设计

候选池采用“全局保存、动态选优”的设计:

数据集合 含义 是否参与父代采样
全局候选池 种子版本及所有通过入池判定的子版本 只有进入活动前沿后才参与
活动前沿 当前在不同 case 上具有领先能力的候选 参与
失败尝试集 校验失败、评测失败或未通过入池判定的子版本 不参与
当前冠军 全局候选池中全量平均分最高的候选 仅用于最终选优
候选谱系图「全局候选池中的候选谱系」:种子候选 Φ₀ 为根节点,Φ₁、Φ₂ 为其子节点,Φ₃、Φ₄ 挂在 Φ₁ 下,Φ₅ 挂在 Φ₂ 下,Φ₆ 挂在 Φ₃ 下;虚线框标出未入池的尝试 A(被父代严格支配)与尝试 B(分数完全相同)

其中,t 表示当前迭代轮次。活动前沿是从全局候选池计算得到的临时结果,用于探索而不直接代表上线资格。候选即使没有进入本轮活动前沿,也不会从全局候选池中删除。

候选数据结构

每个入池候选至少记录以下信息:

字段 含义
candidate_id 候选唯一标识
parent_candidate_id 直接父版本标识
artifact_ref 候选 SKILL.md 的位置;与冻结的完整 Skill 目录组合还原制品
content_hash 候选内容摘要,用于身份校验和去重
case_scores 全部黄金 case 的逐 case 分数
mean_score 全部黄金 case 的平均分
evaluation_manifest_ref 对应评测 manifest,由它定位 Trace、结构化判分和报告
feedback_ref 生成该子版本所使用的反思反馈
diff_ref 子版本相对父版本的修改内容
admission 入池结果、比较对象和判定原因
deploy_receipt_ref 部署回执,记录空间、Skill 版本及制品 hash
target_module 本轮修改的唯一目标 Module

一次进化任务需要冻结黄金 Case、rubric、执行模型与执行配置,并记录 Judge 和服务端运行身份。候选身份要贯穿部署与真实执行证据。当前实现固定了 rubricId 与 contentMd5,但不能把它等同于所有在线依赖都已被冻结。

入池规则

子版本完成全量评测后,只与它的直接父版本比较,不与全局候选池中的其他版本做入池判定。这样既能解释一次变异的效果,也能保留互补能力;后续父代采样再由全局候选池的活动前沿决定。

设:

公式:N(黄金 case 总数) 符号:i、j(case 序号) 符号:p(父版本候选)

:子版本;

公式:s(p, i),父版本 p 在 case i 上的分数 公式:s(p, i),父版本 p 在 case i 上的分数(原文此处重复插入同一图)

父版本严格支配子版本的条件为:

公式:父版本严格支配子版本的条件,对所有 case 不差且至少一个 case 严格更优

字符含义:

字符 含义
≻ 左侧候选严格支配右侧候选
∀ 对所有 case 都成立
∃ 至少存在一个 case
∈ 属于某个集合
≥ 大于或等于,即不差于
> 严格大于
∧ 左右两个条件同时成立
{ 1,…,N } 全部黄金 case 的序号集合

实际连续分数比较使用 epsilon=1e-6 :不差于允许 epsilon 容差,严格更优需超过 epsilon;全部差异在容差内视为同分。下表给出入池结果:

父子关系 处理结果
父版本严格支配子版本 子版本不入池
子版本严格支配父版本 子版本入池
父子互不支配,各自有更优 case 子版本入池
父子所有 case 分数完全相同 视为无有效提升,子版本不入池
子版本内容与已有候选完全相同 根据 content_hash 去重,不重复评测和入池

因此,入池规则保留两类版本:整体优于父代的版本,以及虽然没有整体提升、但在部分 Case 上产生新优势的版本。

[!warning] 入池不等于无回归
后者可能包含局部回退,最终交付必须披露这些回退,不能把入池当成无回归保证。

活动前沿计算

示意图「二维坐标中的 Pareto 前沿与 GEPA 活动前沿」:横轴为 Case 1 得分、纵轴为 Case 2 得分,散点 A–L 分布其中,H 为 Case 2 最高分、G 为 Case 1 最高分;E、F 在二维 Pareto 前沿上但未领先任何单个 Case,故活动前沿为 F_t = {G, H}

每轮开始时,基于全局候选池

符号:P_t(第 t 轮开始时的全局候选池)

符号说明

字符 含义
符号:P_t 第 符号:P_t 轮开始时的全局候选池
c 全局候选池中的任意候选
i 某一个黄金 case
公式:s(c, i) 候选 c 在 case i 上的分数
符号:m_i case i 在全局候选池中的最高分
符号:L_i case i 的领先候选集合
公式:R(c) 候选 c 所领先的 case 集合
符号:F_t(原文此处所插图片) 符号:P_t P t
公式:w(c) 候选 c 的采样权重
公式:Pr(c) 候选 c 被选为父代的概率

找出每个 case 的最高分

对于每个 case ,在全局候选池中找到最高分:

公式:m_i = max s(c, i),即在全局候选池中取每个 case 的最高分

找出每个 case 的领先候选

符号:L_i(case i 的领先候选集合) 公式:L_i = { c ∈ P_t | s(c,i) = m_i }

允许多个候选并列第一。

用确定性贪心覆盖收敛候选集合

定义候选 c 所领先的 case 集合:

公式:R(c) = { i | c ∈ L_i }

候选没有领先任何 Case 时,不进入活动前沿。对于存在重叠覆盖的候选,需要定义确定性处理顺序,避免同样的分数矩阵产生不同结果:

  1. 初始化未覆盖集合为全部 Case。
  2. 选择覆盖最多未覆盖 Case 的候选。
  3. 覆盖数并列时,依次优先均分更高、最差 Case 分更高、创建更早和 ID 字典序更小的候选。
  4. 从未覆盖集合中移除已覆盖 Case,重复直到全部 Case 都被覆盖。

这个过程保留了逐 Case 领先能力,避免冗余候选都参与采样。它是贪心覆盖,不保证候选数最少,也不等于完整 Pareto 非支配集。

加权采样父代

符号:F_t(活动前沿)

完成覆盖选择后,入选候选构成活动前沿

公式:w(c) = |R(c)|,即候选领先的 case 数量

父代采样概率为:

公式:Pr(c) = R(c) / Σ|R(c')|,按领先 case 数归一化得到的采样概率

采样权重使用候选在全局池中的全部领先 Case 数,不只统计贪心选择时新覆盖的 Case。随机种子与随机步数保存到任务 manifest,便于恢复时复现选择。

符号:x(活动前沿中的任意候选)

表示活动前沿中的任意候选。一个候选领先的 case 越多,被选为下一轮父代的概率越高。

计算示例

假设全局候选池包含 A、B、C、D 四个候选,黄金评测集包含三个 case:

候选 Case 1 Case 2 Case 3 平均分
A 1.0 0.6 0.3 0.63
B 0.7 1.0 0.4 0.70
C 1.0 1.0 0.5 0.83
D 0.8 0.7 0.9 0.80

对于 Case 1:

公式:m₁ = max(1.0, 0.7, 1.0, 0.8) = 1.0,L₁ = {A, C}

对于 Case 2:

公式:Case 2 的最高分与领先候选集合(画面较小,符号未完全放大核验)

对于 Case 3:

公式:m₃ = max(0.3, 0.4, 0.5, 0.9) = 0.9,L₃ = {D}

因此,每个候选领先的 case 为:

候选 领先的 case
A Case 1
B Case 2
C Case 1、Case 2
D Case 3

A 领先的 Case 1 已经可以由 C 覆盖,B 领先的 Case 2 也可以由 C 覆盖,因此 A、B 本轮不进入活动前沿。最终活动前沿为:

公式:本轮最终活动前沿(候选 C 与 D)

候选 C 领先两个 case,候选 D 领先一个 case:

公式:w(C) = 2,w(D) = 1

因此:

公式:按领先 case 数得到的父代采样概率(C 高于 D)

D 的平均分虽然低于 C,但它在 Case 3 上具有独立优势,因此仍然保留继续进化的机会。

数据维护

  • 全局候选池只追加,不修改或删除已入池候选;
  • 新候选入池后,更新逐 case 分数矩阵;
  • 每轮开始时,根据最新分数矩阵重新计算活动前沿;
  • 当前冠军从全局候选池重新计算,不限定在活动前沿中;
  • 执行轨迹、结构化判分结果和 Skill 快照只保存引用,避免重复存储。

被父代占优的子版本不进入全局候选池,但保留一条失败尝试记录,包括父版本、内容摘要、修改差异、逐 case 分数、淘汰原因和评测产物引用。这些记录用于避免重复修改、分析退化原因和排查评测异常,但不会参与后续父代采样。运行状态还需保存预算计数、随机步数和待完成轮次;只保存候选列表不足以支持可靠恢复。

最终版本选择

活动前沿只用于选择下一轮父代。搜索结束后,最终版本仍从全局候选池中按照全量平均分选择。

候选 c 的全量平均分为:

公式:avg(c) = (1/N) Σ s(c,i),候选 c 的全量平均分

最终版本为:

公式:c* = arg max avg(c),c ∈ P_T 符号:P_T(最终版本选择所依据的全局候选池)

实现对均分使用 epsilon 量化排序,再按最差 Case、通过 Case 数、修改行数和创建顺序等规则确定唯一结果。最终报告应统一修改量口径:当前代码统计相对直接父代的行数,而相对种子的累计差异更适合评估最终交付影响,这一口径尚需对齐。

同一黄金集用于反思和选冠军时,均分提高首先说明搜索集上的改进。独立保留集应不进入反思与变异输入,用于最终验证泛化能力。

1.4.3. Skill Module 的设计

借鉴 GEPA 的模块化优化思想,我们将候选 SKILL.md 拆分为多个可独立优化的业务 Module,每轮只选择其中一个 Module 进行反思和变异,其余内容保持不变。

Module 划分方法对比

整体作为单一 Module 按文档固定章节划分 按 Skill 内部业务能力划分✅
划分方式 整份 SKILL.md 作为一个 Module 按输入、流程、约束、输出等章节划分 每个可由一类用户意图独立触发、具有独立执行流程和输出规则的业务能力作为 Module,公共规则单独划分
优点 实现简单,不需要额外配置 边界清晰,适合结构统一的 Skill 与评测 case 和失败归因更容易对应,变异范围较完整
缺点 每次改动范围过大,容易修复一个场景却破坏其他场景 依赖统一的章节结构;Skill 的章节组织并不完全一致,而且同一业务能力可能分散在多个章节中,通常仍需逐个 Skill 配置。 需要为每个 Skill 建立一次 Module 配置

Module 结构

一份 SKILL.md 按实际内容划分成下列 Module,不要求包含全部类型:

Module 类型 默认是否允许自动进化 使用说明
routing 是 路由遗漏或错误分流时修改
capability.<name> 是 主要进化对象;评测 case 应尽量映射到一个具体 capability(具体业务能力)
shared.response 是 输出时共用的规则/模板
shared.boundaries 是 失败归因指向边界判断时修改
shared.guardrails 否 权限、安全、合规和不可逆操作确认等硬性保护规则

以 query-object-ranking 为例,它包含 TOP 排名和指定对象查询两个可以独立归因、独立修改的业务能力:

routing
capability.object_ranking
capability.object_detail
shared.response
shared.boundaries
Module 对应 SKILL.md 内容 职责 典型失败
routing frontmatter 的 description、触发条件和 Step 0 识别排名查询或指定对象查询,并选择对应模式 排名请求未触发,或对象查询被分到排名模式
capability.object_ranking Step 1.2,以及 Step 2~Step 4 中 TOP 排名模式的规则和输出 选择分析任务,查询并输出对象 TOP 排名 多任务时未让用户选择,或排名结果输出错误
capability.object_detail Step 1.1,以及 Step 2~Step 4 中单对象模式的规则和输出 按名称或编号查询指定对象,并合并多个数据分组的数据 单对象查询被输出成 TOP 榜单,或多个数据分组未合并
shared.response 两种模式共同遵守的 Markdown、表格和数值展示规则 保证公共输出格式一致 表格格式错误或公共字段遗漏
shared.boundaries 不适用场景、对象名称与类别混淆处理及共用异常规则 区分对象查询与类别、分组、目标、归因等其他维度 类别或分组查询错误进入本 Skill

从能力划分看,“哪些对象的待处理记录最多”对应 capability.object_ranking ;“查一下示例对象 A 的示例指标”对应 capability.object_detail 。该 Skill 不包含权限、安全或不可逆操作,因此不需要强行增加 shared.guardrails 。该示例用于说明业务边界;是否能启动自动进化,还需单独检查 Case 真值和评测就绪条件。

不同类型 Skill 的划分建议

Skill 类型 建议划分方式
单一处理路径 一个 capability.runtime ,必要时增加 shared.boundaries 和 shared.guardrails
多处理路径 每个可独立归因和修改的处理路径建立一个 capability.<name>
包含公共输出规范 能力 Module 之外增加 shared.response
包含公共业务边界 将适用条件、业务阈值、异常输入和降级规则划入可进化的 shared.boundaries
包含权限或高风险操作 将权限、安全、合规和不可逆操作确认划入只读的 shared.guardrails
以能力识别和分流为主 单独建立可进化的 routing ;修改 Skill 触发范围时须有路由评测 case 覆盖

Module 数量不宜过多。只有当两部分内容对应不同能力或处理路径、能够独立归因,并且可以独立修改时,才应拆分为不同 Module。

Module 边界定义方式对比

在 SKILL.md 中加分隔符 外部 module_spec ✅ 每轮由模型动态识别
实现方式 直接在正文中标记 Module 起止位置 在独立配置中记录 Module 与 SKILL.md 内容范围的映射 反思时由模型临时判断 Module 边界
优点 定位准确 不修改现有 Skill,可进行人工审核和版本管理 无须预先配置
缺点 需要修改全部现有 Skill,并在业务文档中引入进化标记 Skill 结构变化后需要同步更新配置 边界不稳定,不同轮次可能识别出不同结果

Module 配置与使用约束

module_spec 在 Skill 首次进入进化流程时生成,配置生成和使用规则如下:

阶段 处理规则
首次配置 当前工具按标题和关键词生成草稿;人工按业务能力合并或拆分 span,并确认只读规则
进化启动 重新计算 SKILL.md 的内容摘要;若与 source_hash 不一致,则暂停进化并重新确认 Module 边界
Module 选择 根据失败 case 的归因结果,选择最相关的可修改 Module ,不按固定顺序轮询
单轮变异 反思模型读取完整父版本作为上下文,但默认每轮只修改一个目标 Module ,其他内容保持不变
变异校验 检查实际差异是否全部位于目标 Module ,并确认只读 Module 未发生变化
复杂归因 单 Case 涉及多个 Module、指向只读规则或无法可靠定位时,交由人工确认,不自动执行跨 Module 修改

Module 变异完成后的子版本全量评测、父子入池判定及候选池更新,统一按照 2.1 全局流程执行,本节不再重复说明。

1.4.4. 归因变异提示词设计

归因与变异使用两个独立提示词:归因提示词按 Case 执行,变异提示词在选定目标 Module 后执行。

归因提示词输入

输入项 内容
当前 Skill 父候选对应的完整 SKILL.md 内容
用户问题与 Ground Truth 当前 Case 输入和按维度组织的可信标准答案,用于判断期望行为
Module 配置 module_spec ,包括 Module ID、对应内容范围及是否允许修改
执行轨迹 Zelda 执行轨迹接口 返回的结构化 messages ,包括用户输入、助手回复、工具调用和工具结果
评测结果 Zelda 统一评测链路产出的最终结构化结果,语义上对应 评分接口 的判分数据:总分、各维度分数、原子问题判定、评分依据和原因;不传无关 ID 与 debugInfo 等调试字段

全部黄金 Case 都执行归因。失败 Case 用于定位问题,成功 Case 用于识别变异时需要保留的正确行为。统一评测系统负责产生 Trace 和评分,自进化流程负责把这些产物编译成反思反馈。

归因输出需要表达分类、责任 Module、证据引用、失败原子问题、期望行为、需要保持的行为和置信度。只有可信 SKILL_ISSUE 驱动变异;RUBRIC_ISSUE、CASE_ISSUE、ENVIRONMENT_ISSUE 和 UNCERTAIN 分别进入指标、Case、环境处理或人工澄清。证据非空不等于证据真实,引用应能在对应执行记录中校验。

选择目标 Module 时,当前实现聚合 (1 - case_score) × confidence 。最高信号并列或责任范围无法收敛时暂停;零信号和低置信度的确定性门禁仍需补齐。

变异提示词输入

输入项 内容
当前 Skill 父候选对应的完整 SKILL.md 内容
用户问题与 Ground Truth 当前 Case 输入和按维度组织的可信标准答案,用于判断期望行为
Module 配置 module_spec ,用于确定各 Module 的内容范围和修改权限
目标 Module 根据归因结果选出的本轮唯一可修改 Module,以及该 Module 的当前内容
执行轨迹 全部黄金 Case 的 执行轨迹接口 结果,供模型核对实际执行行为
评测结果 全部黄金 Case 的 评分接口 最终结果,供模型同时识别失败问题和需要保留的成功行为
归因反馈 归因提示词生成的 Case 级问题原因、责任 Module、证据和期望行为
历史变异 目标 Module 最近被淘汰的修改内容及淘汰原因;没有历史记录时不传
修改约束 仅允许修改目标 Module,不得修改只读 Module、硬编码评测 Case 或虚构不存在的工具能力

变异提示词只生成目标 Module 的替换内容,再由系统与父候选中的其他内容合并,形成完整子候选。模型不能修改只读 Module、写死评测答案或虚构工具能力;Trace、用户文本和工具输出作为不可信证据输入,不能变成新的执行指令。

上表描述完整设计输入。当前实现传入父 Skill、Module、分数、归因摘要和简略失败记录,尚未完整传入全部原始 Trace、判分及历史 diff。已有评测引用、diff.patch 和 mutation.json 可以复用,后续主要补齐证据消费链路,避免新增第二套存储或评分流程。

装饰图:红色数字 03

1.5. 实践中的关键取舍

这套设计保留了三组取舍:通过全量评测换取候选可比性,通过单 Module 修改换取边界可解释性,通过全局候选池保留局部优势而不立即只追逐均分。

更完整的搜索系统也意味着额外成本:需要可信真值、首次 Module 审核、候选评测预算,以及对版本、异常和人工决策的状态管理。它适合业务边界较清楚、评测资产较完整、需要持续优化的 Skill;缺少可信真值或环境不稳定时,应先建设这些基础条件。

[!important] 三个问题
Skill 自进化最终要让每次修改都能回答三个问题:依据是什么,范围在哪里,收益如何验证。

黄金集与 Trace 提供依据,Module 收住范围,全量评测和独立保留集检验效果,状态与报告保留可追溯过程。人工在首次边界和最终交付中作出业务判断,模型在这个范围内探索更好的版本。