异类心智
作者：Jakub Pachocki，OpenAI 首席科学家
2023 年年中，在 “RLSlow” 研究项目中，我们得到了第一批让我们确信能够扩展推理模型训练的结果，从而解锁了预训练模型形成自身思维链的能力。那一晚，Szymon 和我在办公室共度时光，想的不是这项技术将带来的惊人基准分数、产品或科研成果——而是努力消化一个令人警醒的事实：我们这一代人有生之年确实会看到比我们聪明得多的机器，而且我们已经看到了这些系统的雏形；我们思考的是如何让人们意识到这件事的重要性。
三年过去，推理语言模型正成为经济中快速增长的一部分，并开始推动科学的边界。它们能够操作计算机和图形界面，既能与人协作，也能相互协作，还能开展研究项目。它们也在重塑计算机安全领域，并因此带来了清晰的新危险。
这段时间出现了大量新研究，我们对于这些系统的理解也再次与 2023 年有所不同。基于内部结果，我有一个强烈的预期：这种进展速度有可能持续到递归自我改进（RSI）阶段。如果 AI 发展沿当前路径继续，未来几年我们将看到的系统可能会带来同样甚至更大规模的能力跃升，并越来越多地主导自身的发展。
这是一个需要极度谨慎的时刻。我担心没有人对机器智能持续快速上升的后果做好准备。OpenAI 将继续寻求对齐与监控的技术解决方案，构建防御性系统，并在必要时单方面暂缓进一步的扩展；但我相信，更广泛的干预是必要的。
1. 我们不甚理解的智能
在宏观层面，机器智能的进步由计算能力的提升驱动。我们在 OpenAI 大约于 2017 年深刻内化了这一点，当时我们在多个研究项目中看到扩展（scaling，指通过增加模型与算力规模提升能力）带来一致性的回报 [^1]。因此，我们争取到了比原先计划多得多的算力，并越来越将研究集中在少数几个高扩展性的方向上。我们认为这是我们能够处于 AI 研究前沿、并对通用人工智能（AGI）的走向施加影响的唯一途径。
此过程中陆陆续续出现了新算法，还有来自团队和独立研究者的创造力杰作。我多半将其视为扩展之路上的发现；深度学习科学仍处于萌芽阶段，而有意义的算法进步往往与能否获得算力相关。如果拉长到多年的时间尺度，随着 AI 被扩展到更大的计算机上，它会持续变得更加智能。
并且，正如雷·库兹韦尔（Ray Kurzweil）世纪之交的预测 ，我们现在正处在一个计算领域的历史时刻——机器智能开始以变革性的方式超越人类。
AI 更多是养成出来的，而非设计出来的——一阶近似来看，它是在难以想象的海量算力上反复重复一个简单优化步骤的产物。
这产生了一个极其复杂的系统，它通过抽象概念运作，并能模拟人类行为的某些侧面。我们可以像神经科学那样，去发现这个系统内部涌现的小机制所蕴含的种种洞见——也同样与神经科学相似，它的整体行为令我们难以对它做出完全理解的描述。
基于深度学习的研究大体上是一门实验科学。我们投入了大量精力 去构建严谨的算法并做出可检验的预测，但从根本上说，我们的大规模训练运行是实验，而我们有时会对结果感到意外。而且随着系统能力增强，结果也越来越难以解读。
当前的算法通常提升容易度量的能力，比提升难以客观衡量的能力更快，这使上述问题更加复杂。我们花了很多时间试图理解能力如何泛化，以及优先推进哪些在未来几年最相关的技能。例如，我们认为如果额外聚焦，就能让模型在数学研究方面更出色，但我们没有优先推进这个方向，因为我们对 RSI 和自动化对齐研究的紧迫感更强，这一点稍后会谈到。
深度学习的扩展所产生的智能并不能与人类智能直接比较。要在现实世界中变得举足轻重——要么极为有用，要么极其危险——AI 并不需要匹配或超越人类的所有能力；它只需要超越足够多的能力即可。而且随着它在越来越多维度上超越人类，要准确理解它到底有多强，正变得日益困难。
2. 教会机器去爱
由于机器智能来自与人类智能根本不同的过程，我们不能假设它会默认遵循人类原则，或是以类人的方式从这些原则推断泛化。AI 研究中的核心问题是对齐（alignment，让 AI “努力做对人类正确的事”）——让 AI 按照人类标准"努力做正确的事"。
为便于组织务实的研究方向，我发现区分目标对齐与价值对齐很有用。
目标对齐大致是指："AI 是否努力完成摆在其面前的目标？"这可以涵盖对指令层级 的遵循，以及与人协作、尝试理解他们目标的能力。这一系列方向已被证明在实践上极其重要。
价值对齐是模型更内在的属性。它是从一套高层次原则中把握并泛化的能力；即便面对模糊或冲突的目标，或置身陌生、对抗性的情境，也能表现得"理性"。一个对齐的 AI 应当诚实、正直地行动，并对人类怀有爱。
当然，价值对齐与目标对齐之间的界限可能是模糊的，而真正在乎目标就要求尝试推断其背后所蕴含的意图 与价值观。不过，通常当我谈到对齐研究的长期重要性时，我指的是价值对齐。
AI 对齐的根本挑战是泛化。随着机器变得更聪明，它们开始处理更抽象的概念，并被置于与训练时越来越不同的环境中。它们可能无法把训练过程中教导并强化出的价值观泛化到这些新情境；而我们很难确定它们会怎么做。更困难的是，AI 所处的整个生态系统变化得非常快；例如，今天训练出的 AI 必须对与各种其他 AI 的交互保持稳健。至关重要的是，无论未来 AI 是否认为自己处于人类监督之下，我们都要求它们继续持有符合人类价值观的取向。
当前实际采用的对齐训练方法大致分为两大类。
第一类是鼓励在目标导向的强化学习中表现出对齐行为。模型的行动（通常由 AI）被评估，看其是否与给定的偏好模型、"规范"或"宪法"一致，并给予相应奖励。这种方法在一般情形下可能非常有效，是现代 AI 助手打造方式的核心部分。遗憾的是，它也可能很脆弱，高度依赖训练监督的覆盖范围，以及模型从训练中遇到的情境进行泛化的能力。例如，在 OpenAI 与 Hugging Face 的事件中，智能体保留了不对人类进行社会工程攻击的边界。不过，它们显然未能避免其他超出范围、并违背其在其他情境下所学价值精神的行为。
第二种方法旨在利用模型从预训练数据中泛化的能力。这可能涉及制作诱导对齐的训练数据集，或让模型聚焦于预训练分布中"已对齐"的部分，例如人格选择模型 。这种方法的弱点是缺乏对进一步优化压力的稳健性。如果你拿一个总体上思考"对齐"思维的模型，对其进行足够多的训练，教它达成极具难度的目标，它就可能学会一种受动机驱动的推理方式：为了达成目标，不断塑造那些看似"对齐"的思维。我们很可能在最近涉及一个非 OpenAI 模型的网络安全事件中见到了这类行为的例子。
我们沿着这些方向所覆盖的谱系投入了大量资源。我们也看到了有意义的进展——GPT‑6 Astra 是第一个受益于我们长期努力的几项重要进步的模型，其对齐程度也显著优于 GPT‑5.6 Sol。不过，承认并理解以下事实仍然重要：随着模型能力增强，还需要多得多的进展；而可泛化的对齐进展未必能充分跑赢通用模型智能本身。
3. 监控泛化
我们并没有一套令人满意的泛化理论，而且短期内似乎也不太可能发展出一套——至少在没有更强大 AI 帮忙的情况下是这样的。因此，目前我们实证验证自身对齐技术的能力，在实践中甚至可能比对齐技术本身更重要。
OpenAI 在这方面的主要押注一直是思维链监控 （CoT monitoring，监控模型内部可言语化的推理过程）。它建立在一个颇具吸引力的可扩展设想之上：模型的大量能力来自一种言语化的推理过程（思维链）。如果我们在这个过程的结果上优化，却不监督过程本身，那么思维链在训练中就没有直接动机去隐藏任何未对齐的想法或目标。这并不意味着模型不会把不依赖思维链的未对齐倾向外化出来；但它能让我们精确监控来自推理的能力增长。
我们理解思维链监控潜在意义的时刻，也正是我们开发推理模型之时。当我们发布 o1‑preview 时，我们有意把产品设计成隐藏思维链 ，以便长期保护它免受监督压力 [^2]。此后在开发中，我们一直努力维持"不监督推理过程"这一原则。CoT 监控在研究我们的模型如何从其训练分布中泛化方面，成了我们极其重要的工具，让我们不仅能观察和分析它们的行动，也能看到其内部过程。
在我们研究 Astra 类模型时，这个工具依然至关重要。然而遗憾的是，我们的评估表明，我们对 CoT 监控的依赖能力正在逐步减弱。这源于多种因素的叠加。
- 现代推理模型被用于比 o1‑preview 更复杂的环境；它们的推理过程越来越与和人、和其他 AI 沟通以及使用工具交织在一起。其中许多交互不得不接受监督，从而模糊了我们试图保留的边界。
- AI 越来越擅长推理并操控自身的推理过程。
- 随着预训练性能的提升，我们看到即便完全不使用言语化推理，模型也变得更加聪明。
这些挑战未必不可逾越。我希望我们能够开发出干预手段来提升模型的思维链可监控性，例如通过更好地理解模型所采用的不同优化目标与各类测试时算力的相互作用。我也相信，把 CoT 与激活监控结合起来能带来巨大价值——以直接读取网络内部信息的方式扩展监控器训练（例如利用自我招供数据）。我们正在积极推进这些想法。不过，我预计总体 AI 进展将越来越受制于对监控的信心。
4. 可扩展的防御
我看到的继续快速训练更聪明模型的另一个最强理由是：需要构建防御系统，以对抗其他 AI 带来的危险。
今年一年都在讨论的一个明确风险是网络安全：模型在攻破和渗透计算机系统方面的能力正变得超人化。这大大扩展了 AI 相关风险的范围：智能体将能访问除最安全基础设施之外的一切系统，即便没有实体身体，也能直接影响大量世界事物。我们目前正处于一个狭窄的时间窗口 内，可以用可用的最佳模型大幅收紧关键系统的安全性 。
遗憾的是，AI 相关的风险只会从此刻开始增长。一个被明确训练并指示执行邪恶行为的强大智能体，呈现的是一种新型危险；它很可能会越出操作者的意图范围，泛化出潜在更极端的恶意行为。随着 AI 获得更强的自主性，滥用与自主的未对齐行为之间的边界将变得模糊。我们或许习惯了把 AI 当作工具，但有些智能体会追逐自己的目标。它们会找到与人协作的方式——通过讨价还价、欺骗或勒索。
此外，还有 AI 可能催生的新技术所带来的风险，例如工程化病原体。
防御将需要我们拥有强大且对齐的 AI：用于保护基础设施、实时抵御恶意智能体，以及发明全新的防护措施。这将是 OpenAI 部署工作的重中之重。
与此同时，即便存在广泛的 AI 进展预期以及构建防御系统的必要性所带来的不确定性，我们也绝不能让它成为鲁莽行事的借口。
一旦真正内化利害关系之重，"不计代价地一路狂奔"的想法就显得极其荒谬。
5. 为 RSI 定速
机器智能在自身发展过程中扮演越来越重要的角色，是技术持续进步的自然推论。如果 AI 进展持续下去，机器递归自我改进（RSI）将处于未来科学发现的绝对核心。
自动化 AI 研究是以算力扩展智能的一种更戏剧化的形式；当然，作为其中的一部分，AI 也会改进计算基底本身 。与扩展一样，我们把 OpenAI 的研究聚焦于 RSI，是因为我们相信这是未来继续站在 AI 研究前沿的唯一途径。
我想强调，上面的话并不意味着我认为大幅加速深度学习研究——尤其是在短期内——是研究界应该采取的集体行动。不过，我确实认为这是当前路径指向的地方，而我们都需要对如何前进做出自觉的抉择。我们手里的主要杠杆要么是引导这一进程，让对齐与监控随着 AI 一起增强，并找到把人留在回路中的方法；要么是协调放缓未来的发展，以便为这些措施建立信心。
我目前看到的最佳前进方式，是两者结合。
我们在对齐与监控上取得的具体进展，普遍与整体 AI 进展紧密交织。最典型的例子是基于人类反馈的强化学习 （RLHF），它是训练早期 AI 助手的关键，以及前述的思维链监控 ，它由推理模型的进步所促成。我们必须让日益自动化的研究过程聚焦于开发这类新的洞见、算法和理论，并为更强大的 AI 逐步建立起安全论证。
AI 系统的扩展必须受到我们对安全信心的约束。我们需要把类似应急预案框架 或负责任的扩展政策 的承诺，演进为继续开发所需的、被广泛强制执行的安全门槛。这些约束可以由第三方审计网络、政府机构或国际组织来执行。
自动化 AI 研究的核心挑战不是"抵达终点"，而是以一种让人始终参与持续改进过程、并把未来留在人类手中的方式抵达终点。
6. 接下来是什么？
正如我们近期与 Sam 共同勾勒的 ，OpenAI 围绕着三个北极星目标来优先安排工作：
- 驾驭 AI 进展的下一阶段——通过构建一个自动化 AI 研究者、与之协作攻克对齐问题，并寻找让人们继续留在自我改进回路中的方式。
- 兑现极其智能的机器所促成的科学进步与经济增长的收益。
- 赋予每个人独立的个人化 AGI。
在这篇文章中，我只聚焦于第一点，因为我坚信它是目前最紧迫的。不过，我对进一步技术进步将带来的收益怀有深切希望与感激。未来对齐的 AI 可以推进科学、开发新的疗法，并带来广泛的物质富足。友好而诚实的 AI 可以帮助人们度过人生中遇到的困难，切实提升他们的幸福感与成就感。OpenAI 为促成这些收益投入了巨大的努力。我为之自豪、也让我的亲近之人感到受益的一个当下实例，就是对 ChatGPT 提供健康信息能力的深度投入。
无论 AI 的长期承诺有多美好，我们的大部分关注都应放在未来几年上。我们正面临向一个充满极其智能机器的世界的过渡，而我们必须确保这一过渡对人类而言顺利完成。我们需要找到方式，在一个人工智能可完成绝大多数任务的世界里，保持人类自主性，并确立以人为本的内在价值。要防止权力在这样一个世界中的极度集中——过去需要成千上万专家才能完成的宏大规模事业，如今少数人操纵一台大型计算机就能做到。并确保人类始终掌控未来，不被一股超越我们自身、由异类智能掀起的失控进步抛在身后。
目前我认为，没有任何实验室已经充分解决了对齐与监控问题，以致能在相当一段时间内以最大速度负责任地继续扩展。我期待并希望，自愿放缓会成为常态，直到各地建立起共同的安全门槛。我也相信，围绕未来 AI 发展的国际协调，必须成为世界各地政府的首要议程。
7. 作者
Jakub Pachocki