从代码生成到需求交付:DarkFactory 的工程实践
1. 摘要
文章聚焦百度 DarkFactory 平台的工程实践,围绕研发任务为中心,组织多 Agent 分工、执行环境与结果验证,实现从代码生成到需求交付的闭环。作者指出在复杂系统中,代码生成仅是需求交付链路中的一步,需解决理解项目背景、持续推进研发链路、确认结果满足要求等三大难题。平台构建了四项能力(任务定义、角色分工、持续执行、结果验证)和四阶段验证体系(本地检查、集成验证、流水线回归、生产观察),并通过算子迁移效率提升约 5 倍、13 Agent 协作长任务(约 14.5 小时)、Test Runner 缺陷前置拦截率达 79% 三个场景验证了效果。文章还探讨了哪些工作可以交给 AI,强调目标和约束清楚、工具能执行、结果能验证的工作最适合 AI 推进。
2. 主要内容
- DarkFactory 以研发任务为中心,组织多 Agent 分工、执行环境与结果验证,实现从代码生成到需求交付的闭环工程实践
平台构建了四项能力(任务定义、角色分工、持续执行、结果验证)和四阶段验证体系(本地检查、集成验证、流水线回归、生产观察),确保 AI 能稳定承担复杂系统的研发任务。 - 复杂系统的研发任务需要解决理解项目背景、持续推进链路、确认结果满足要求三个核心难题
代码生成只是链路中的一步,需先理清依赖关系和业务约束,其次维护任务状态并处理执行中断,最后通过多阶段验证确保结果符合需求。 - 四阶段验证体系确保问题早发现、准确定位和有效拦截
本地检查快速发现基础问题,集成验证检查真实依赖,流水线回归确认改动不破坏已有能力,生产观察验证真实环境表现,缺陷前置拦截率达 79%。 - AI 能稳定承担的范围比最初预期窄,但可感知地在扩大
只有目标和约束清楚、工具能执行、结果能验证的工作最适合 AI 推进,涉及合入、发布和生产变更的决策仍需人工介入。

导读
"用 AI 写代码"已是日常,但在复杂系统里"完成一个需求"却难得多:代码生成只是其中一步,理解需求、确定影响范围、构建测试、定位修复、验收交付,每一步都可能出问题。本文介绍了百度建设的 DarkFactory 平台——以研发任务为中心,组织多 Agent 分工、执行环境与结果验证:四项能力(任务定义、角色分工、持续执行、结果验证)+ 四阶段验证体系(本地检查、集成验证、流水线回归、生产观察),并用算子迁移(效率提升约 5 倍)、13 Agent 协作长任务(约 14.5 小时)、Test Runner(缺陷前置拦截率 79%)三个场景验证了效果。
用 AI 写代码,已经成为很多研发人员的日常。补全逻辑、生成函数、解释代码、Web 开发、修改局部实现,AI 能承担的工作越来越多。
但是在复杂系统的研发场景里,把任务换成“在现有系统里完成一个需求”,难度就不同了。
一个运行多年的系统,往往包含复杂的模块依赖、历史约定和业务规则。完成一次改动,需要理解需求、确定影响范围、修改代码、构建测试、定位问题,再经过修复和验收。代码生成只是其中一步。
更强的模型能够改善理解、规划和编码表现,但仅靠模型能力,还不足以保证这条研发链路稳定完成。任务如何定义、上下文如何组织、执行中断后如何恢复、结果如何验证,都需要相应的工程机制。
围绕这些问题,我们建设了 DarkFactory:以研发任务为中心,组织多 Agent 分工、执行环境、工具调用和结果验证,让 AI 能承担复杂系统的研发任务。
目前,这套机制已用于存储研发、近线 GPU 管理、算子迁移、Feed 架构研发等场景,月度任务量达到数百项。实践中发现,AI 研发的场景下,我们需要关注的点在变化,判断 AI 能承担多少工作,不能再看它生成了多少代码,需要看任务是否完成、结果如何验收,以及过程中需要多少人工介入。
3. 从写代码到完成需求,还差什么

△ 从代码生成到需求交付的完整链路
遇到的困难,主要集中在三个方面。
第一,理解项目背景以及需求。
复杂系统中的知识,并不都在需求文档里。某个字段可能被多个下游服务依赖,一段看似多余的逻辑可能用于规避历史故障,一项配置也可能影响其他模块的行为。AI 生成的代码即使语法正确、局部逻辑合理,也可能违反这些约束。开始修改之前,需要先理清:相关实现在哪里,依赖关系是什么,哪些行为必须保持,哪些信息仍然缺失。工程机制可以帮助组织这些信息,却不能凭空补齐未记录的知识。无法从代码、文档和工具结果中确认的业务约定,仍然需要人来解释。
第二,如何持续推进一条研发链路。
需求分析、方案设计、代码修改、构建、测试和问题修复,很少能够通过一次问答完成。执行过程中会出现新的信息:某个接口与预期不同,构建环境缺少依赖,测试暴露了此前没有考虑的边界条件。任务需要据此调整,而不是继续沿着最初的计划机械执行。需要系统可以维护任务状态,保存关键产物,处理工具反馈,并在失败后选择重试、修复或请求人工介入。
第三,确认结果满足要求。
代码生成后,还要确认能否构建、是否通过必要检查、是否符合需求,以及有没有破坏其他功能。如果这些步骤仍由人逐项发起、串联和追踪,生成环节节省的时间,就可能被后续验证和返工部分抵消。因此,我们要解决的问题是:如何围绕一个明确的研发目标,把理解、执行和验证组织成能够持续推进的流程。
4. 支撑任务交付的四项能力

△ DarkFactory 四项能力
DarkFactory 围绕任务定义、角色分工、持续执行和结果验证组织能力。四者共同作用于同一个任务。
4.1. 任务定义:把目标与约束写清楚
“把这个模块迁移到新框架”可以作为需求的起点,但不足以让 AI 完成所有实现工作。
任务输入需要明确好:
- 要改变什么,预期得到什么结果;
- 涉及哪些代码、文档、配置和研发资源;
- 哪些接口、行为和兼容性要求不能改变;
- 使用什么方式验收,哪些节点需要人工确认。
工作空间(Workspace)将这些信息与对应项目、代码仓库和工具资源关联起来,使 Agent 能围绕具体目标开展工作。
任务定义也需要知道信息的不完整。对于尚未确认的依赖和约束,应明确记录,避免把假设当成事实继续传递。任务越复杂,前期澄清越有价值。
4.2. 角色分工:让不同能力有序协作
需求分析、技术调研、代码实现和测试验证,需要的知识与工具并不相同。
我们将角色职责、技能(Skill)、工具和工作流程组织成可复用的能力单元,组成面向具体场景的“专家团”。不同 Agent 按任务需要分工,前一环节的产物成为后一环节的输入。
多 Agent 的价值不在数量,需要关注分工是否必要、交接是否清楚。需要关注分析环节形成的约束,能否被实现环节遵守;验证环节发现的问题,能否转化为可执行的修复任务。
在具体场景中形成的流程和知识,也可以通过 Agent 的配置、Skill 和工作流保留下来,方便知识的沉淀和更新。
4.3. 持续执行:维护状态并处理失败

△ 任务派发流程
长任务除了需要较为完备的上下文,还需要记录执行状态、支持 Trace,以及支持故障处理能力。
DarkFactory 为每位用户配置独立的 Agent 运行沙箱、在线 IDE 和数据库资源。任务代码工作区按任务 ID 分目录组织,避免不同任务在文件路径上相互覆盖。为了避免任务相互干扰,也做了端口隔离。
任务状态保存在数据库中,与某个具体沙箱 Pod 的生命周期分离。Pod 重建后,可以重新读取任务记录。但是恢复任务记录不等于恢复任意执行现场;能继续到哪一步,还取决于工作区、上下文和执行产物的保存情况。
任务派发依次完成环境检查、访问凭据获取、专家团导入、下游任务创建和平台状态回写。全部步骤完成后,平台标记派发成功。
运行过程中,我们对进程异常设置有限次数的自动重试,对限流、超时等瞬时错误采用退避重试,并区分自动恢复与需要人工处理的失败。
自动重试主要处理执行故障。代码逻辑错误、需求理解偏差等问题,走验证反馈的流程并进行后续修复。
4.4. 结果验证:将检查组织成独立任务
在任务结构中,验证机制融合在流程的多个阶段中,同时也建设了专做 Verify 的 Agent(Test Runner)。任务进入验收阶段后,Test Runner 调用相应的测试 Skill、工具以及验证环境,收集结果并写回父任务。发现问题后,再将问题接入修复与复验流程。这种方式可便于观察哪些检查执行了、发现了什么问题,以及验证本身消耗了多少资源。接下来会详细介绍整个验证体系。
5. 验证体系:四个阶段与持续反馈

△ 验证体系
为了明确不同检查在研发流程中的职责,我们将验证体系按四个阶段组织,并通过数据与知识反馈持续改进。
5.1. 本地检查:尽早发现基础问题
在代码修改过程中,就优先运行反馈快、成本低的检查,例如格式与静态检查、类型检查、编译、单元测试和必要的 Mock 测试。
对于影响范围较大或风险较高的改动,还会加上安全分析、契约校验等检查。编译失败、测试失败和高等级安全问题会直接拦住改动。
5.2. 集成验证:检查真实依赖与交互行为
本地检查通过,不代表代码能够与真实依赖正确协作,第二层加上了集成验证。
集成验证比较大的工作量集中在搭建测试环境,这个过程中复用了现有的 EOS 和调研环境能力。集成测试中检查中间件、数据库、对象存储和外部接口的交互,覆盖必要的 API、契约、数据迁移及端到端流程。
这些临时环境按需创建、用完回收,计算资源是各自隔离的;但由于成本问题,部分外部数据和服务用的是同一套,这部分并没有跟着一起隔离,需要避免对这部分数据状态的变更。
5.3. 流水线回归:确认改动没有破坏已有能力
流水线承担更完整、可重复的检查,包括构建、回归测试,以及按任务风险选择的性能、安全和兼容性验证。
检查结果应对应明确的代码版本与制品。修复导致代码或配置变化后,需要重新执行受影响的前置检查,再复验失败环节,避免直接沿用已经失效的验证结果。
尽量用独立于实现的东西来当验证依据:需求约束、既有接口契约、基准结果和人工确认。这样测试就不会跟着实现一起沿用同一个错误假设——否则代码写错了,照着同一套假设写的测试也一样会放过它。
5.4. 生产观察:验证真实环境下的表现
对于需要发布的任务,验证还会延伸到上线后的运行表现,通过灰度、健康检查、指标和链路数据观察变化。
如果上线出现问题,会根据预先定义的触发条件触发告警、停止放量和回滚等操作。如果涉及到数据结构或不可逆的状态变化,回滚代码不能恢复业务,在上线前制定针对性的止损方案,例如回滚数据版本。
5.5. 持续反馈:把问题转化为下一次改进
测试结果、缺陷和线上问题,会同时沉淀为回归用例、规则和场景知识,再用于后续任务。
在保存信息的同时还需要注意维护信息的时效性和有效性。需要筛选有效信息、更新策略,并通过实际结果确认是否有效。
Test Runner 建设的目标是将执行检查、问题报告、修复和复验连接起来,形成一套完备的质量验证机制。
6. 三个场景的初步实践结果
目前 DarkFactory 已经在不同场景下完成验证,这些实践提供了三类不同的研发类型:效率变化、长流程执行,以及自动验证的使用情况。
6.1. 场景一:大模型算子迁移
算子迁移具有重复性,但并不是简单的文本替换。我们把这个过程拆解成三段,先理解原版本的实现,然后适配目标环境,最后检查迁移后的行为。将分析、修改和检查组织成连续流程后,项目内部对照报告的迁移效率提升约 5 倍。
6.2. 场景二:多 Agent 协作长任务
DarkFactory 完成过一个由 13 个 Agent 参与、运行约 14.5 小时的近线 GPU 调度场景的长流程案例。虽然不是时间最长的,但是参与的 Agent 规模是最大的,同时验证了长程任务能够交付出符合预期的结果。
6.3. 场景三:测试接入任务执行
在已有统计周期内,Test Runner 缺陷前置拦截率达到 79%,无人值守占比达到了 80%。
从这些指标可以看到,测试已在实际任务中产生价值,并有效拦截了非预期问题。但这个指标还有提升空间,这些数据也为后续分析测试覆盖和验证策略提供了依据。
7. 哪些工作可以交给 AI

△ 人机协作
若干场景运行下来,逐渐形成了一些认识:目标和约束清楚、工具能够执行、结果能够验证的工作,适合交给 AI 推进。对于目标定义、关键方案取舍、信息缺失时的判断,以及最终验收,需要人负责。涉及合入、发布和生产变更时,也应保留明确的决策与权限边界。
AI 能够稳定承担的范围,比最初估计的窄一些,但这个范围可感知地在扩大。有时任务能够持续执行,产出的代码却存在性能或功能问题;有时执行工具没有报错,结果也未必满足业务要求。
通过这些经历有一点经验可供大家参考:先明确目标、约束和验收标准,再建立可执行的验证与反馈,机制验证之后再逐步扩大任务的长度和复杂度。
DarkFactory 当前积累了一套围绕任务组织 AI 研发工作的实践,接下来还需要继续解决执行效率、成本、易用性等问题。