语言模型中的全局工作空间

📌 本文翻译自 A global workspace in language models,作者 Anthropic

2026 年 7 月 6 日

阅读论文

▶️ 观看介绍视频(YouTube)

当你阅读这句话时,你大脑中的回路正在调整你的姿势、控制你的呼吸,并将屏幕上的线条和曲线转化为可识别的文字。大部分这些处理过程对你来说是不可见的。但你大脑中发生的一些事情——比如脑海中浮现的画面,或者你关于去哪里购物的深思熟虑——你确实是 能 感知到的。神经科学家和哲学家有时将后一类大脑活动称为"可被意识访问的",以区别于所有其他无意识进行的处理。这类活动具有特殊的属性:我们可以描述它、控制它,并用它来进行有意识的推理,这与所有在我们意识之外自动进行的处理形成了鲜明对比。

在一篇新论文中,我们展示了证据,表明类似的分化已经在像 Claude 这样的现代语言模型中出现了。我们发现,Claude 已经发展出了一小部分内部神经模式,与其所有其他内部处理相比,这些模式扮演着特殊的角色。

我们将这些模式的集合称为 J 空间——以我们用来发现它们的技术命名,该技术涉及一个称为雅可比矩阵的数学概念。每个 J 空间模式都与一个特定的词相关联。但当这些模式中的一个亮起时,并不意味着模型 正在说 那个词——只是那个词在它的"脑海"中。如果你听说过语言模型有"草稿纸"或"思维链"——它们在推理时给自己写的文本——那么 J 空间是不同的东西。它在模型的内部神经激活中无声地运作,允许模型思考一个概念而不把它写下来。值得注意的是,J 空间并非由我们设计或编程,而是在 Claude 的训练过程中 自行涌现 的。

J 空间揭示了不出现在模型输出中的内部想法。

我们发现,与 Claude 的其他处理过程相比,J 空间具有许多独特的属性:

  • Claude 可以报告这些表征。如果你问 Claude 在想什么,它会告诉你 J 空间中的内容。非 J 空间的表征则较难报告。
  • 它也可以在要求下调节这些表征。如果你让 Claude 想某件事,或者默默地在心里解决一个问题,它会点亮 J 空间中相应的模式。相比之下,它很难调节不在 J 空间中的模式。
  • Claude 使用其 J 空间进行内部推理。如果你让 Claude 解决一个需要多个步骤的问题,中间步骤会在 J 空间中亮起,即使它没有大声说出来。这些 J 空间模式在因果上介导了它在这些任务中的表现,尽管它们的量级比其他表征要小。
  • J 空间中的表征可以被灵活地用于许多任务——例如,一旦"法国"在 Claude 的 J 空间中亮起,模型就能回忆其首都、国家货币或所属大洲。
  • 然而,尽管作用重要,J 空间并不参与语言模型的大部分工作——流利地说话、回忆简单事实、使用正确的语法等。在实验阻止 Claude 使用其 J 空间后,它仍然能正常交互,但失去了高阶认知功能。

工作空间的五个功能属性,以及我们用来在语言模型中测试它们的实验的图示。

我们的实验灵感来自神经科学中一个旨在解释意识访问如何运作的著名理论:全局工作空间理论12。这个理论将大脑描绘成一个由专业系统组成的集合,这些系统并行、无意识且大体上彼此隔离地运作。一条信息当它进入一个小的共享通道——“工作空间”——并被广播到其他可以看到并利用它的脑系统时,就成为可被意识访问的。基于我们的发现,我们认为 J 空间在 Claude 中扮演着类似的"工作空间"角色。例如,我们发现证据表明 Claude 的 J 空间与其神经网络的其他部分有特别强的连接,使其能够扮演这种广播的角色。

这其中的任何一点都不能告诉我们 Claude 是否像人一样有 意识,或者它是否有任何感受;我们将在文章末尾回到这个问题。但无论其哲学意义如何,J 空间对我们来说是一个实用的工具,因为它让我们看到 Claude 在想什么却没说出口。例如,我们能够用它来捕捉 Claude 私下注意到自己在被测试、故意制造虚假数据、或追求我们在训练中植入的隐藏目标。我们还开发了一种技术来影响 Claude 的 J 空间中亮起的内容,从而影响它的决策制定。

更广泛地说,这些发现改变了我们对 Claude 思维如何运作的理解,揭示了一个可用于有意推理的特权心理工作空间,在一片更自动、更僵化的处理海洋中运作。Claude 的内部并非一团混乱的数字,而是以与我们自身思维相似的方式组织起来。

本文是一篇详尽研究论文的简短摘要,其中包含我们实验的更多细节。我们还发布了一个代码仓库,提供核心方法的开源实现,并与 Neuronpedia 合作提供交互式 demo。我们还邀请了神经科学、哲学和 LLM 可解释性领域的几位专家对这项工作的更广泛意义进行评论。

1. 我们如何发现 J 空间

这项研究的出发点受到人类可意识访问思维的关键特征之一的启发:它们与 无 意识处理不同,通常可以用语言表达出来。如果一个想法对你来说是意识可访问的,你通常能在别人问及时描述它。我们在 Claude 中寻找具有相同属性的表征:那些被定位为能够影响 Claude 可能会说什么的表征——不一定是它现在说的,而是如果被问到它 可能 谈论的内容。我们的技术称为雅可比透镜(Jacobian lens),简称 J-lens。

1.1. 雅可比透镜:发现 J 空间的方法

对于 Claude 词汇表中的每个词,J-lens 会找到使 Claude 在未来某个时刻更可能说出该词的内部活动模式。

当我们对 Claude 的内部活动应用这个透镜时,我们得到一个词列表——那一刻 J 空间 的内容——我们可以直接读取。Claude 通过一系列称为层的多个内部阶段来处理文本,通过在不同层上应用这项技术,我们可以观察 J 空间中这些无声词汇在模型决定要说什么时的演变过程。

J 空间中出现的远不止 Claude 正在阅读或写作的文本。当 Claude 阅读一个没人指出来的有 bug 的代码时,其 J 空间包含"ERROR"。当它阅读蛋白质序列的原始字母时,J 空间包含该蛋白质的生物学功能。当它阅读秘密旨在操纵它的搜索结果(一种称为"提示注入"的攻击)时,J 空间包含"injection"和"fake"。当我们向 Claude 提出一个多步骤数学问题时,中间步骤会以正确的顺序出现在 J 空间中。因此,尽管 J 空间是通过寻找可被说出(spoken)的表征而被发现的,但它仍然揭示了 Claude 的内部想法。

1.2. 从可说到可见:J 空间的意外发现

从某种意义上说,这类似于一些人"用语言思考",而不必大声说出来。

对六个提示在不同层上的 J-lens 读数。在每种情况下,透镜都揭示了一个出现在文本中任何地方的内部评估或计算:推理或数学问题的步骤、bug 的存在、图像识别、蛋白质的功能、以及对搜索结果是被伪造的怀疑。

2. Claude 报告其 J 空间中的内容

我们的第一组实验测试了 J 空间如何在 Claude 的言语报告中发挥作用。在一个实验中,我们让 Claude 默默地从某个类别中想一个物品——比如一项运动——然后说出它。如果我们在 Claude 回答之前 读取 J-lens,我们可以看到它选了哪个:“Soccer"排在列表顶部,果然,Claude 说出了"soccer”。但这仅仅是一个相关性。J 空间可能是 Claude 答案的来源,也可能只是镜像了别处做出的决定,就像记分牌跟踪比赛但不影响它一样。

为了验证,我们直接进行了干预。我们深入 Claude 的神经网络,移除了"Soccer"模式,并在其位置添加了同样强度的"Rugby"模式,其他一切保持不变。Claude 随后报告说它想的运动是橄榄球。

2.1. 编辑 J 空间改变 Claude 的回答

如果 J 空间只是一个记分牌——别处做出决定的被动记录——那么编辑它将毫无作用:Claude 仍会说出"soccer"。但 Claude 的答案跟随了编辑,这告诉我们答案确实是从 J 空间中读取的。

2.2. 注入实验:Claude 感知到外部影响

在另一个实验中,我们告诉 Claude 有一个想法可能被注入了它的"脑海",并要求它报告注意到了什么(如果有的话)。例如,在下面的例子中,Claude 还在阅读问题时,我们将"lightning"模式注入了它的 J 空间。Claude 报告说,被注入的想法是关于闪电的。同样的结果在多个被注入的概念中都成立。

左:我们让 Claude 默默想一项运动,然后说出它。J-lens 在其回答前显示了它的选择(“Soccer”),将"Soccer"模式换成"Rugby"会改变它的报告。右:我们告诉 Claude 有一个想法可能被注入了,并要求它识别出来。将"lightning"注入其 J 空间导致 Claude 报告该想法是关于闪电的。

3. Claude 可按要求控制其 J 空间

我们测试的第二个属性是 Claude 在被要求时是否能调节其 J 空间,就像人类可以在脑海中聚焦于一个图像或词语一样。

3.1. 按要求聚焦思考

我们让 Claude 在抄写一段关于一幅画的无关句子的同时,专注于柑橘类水果。在它抄写文本时,J 空间中包含"orange"和"fruits",以及像"thinking"和"imagery"这样的描述心理行为本身的词。我们还可以让 Claude 在心里做数学题:当被要求在同一抄写任务中算出 3² - 2 时,J 空间先包含"nine",然后在后面的层中变成"seven"。重要的是,Claude 的输出中完全没有出现水果或算术——它只是关于那幅画的被抄写句子。数学活动完全在 J 空间中内部进行。

当 Claude 抄写一个关于一幅画的句子时,J-lens 显示它被指示记在心中的内容(“orange”;中间值"nine"和结果"seven"),以及描述这种保持行为的词(“thoughts”、“focused”)。

3.2. 控制的局限:越想避免越难做到

Claude 对其 J 空间的控制并不完美。当我们告诉它 不要 想某件事时,该概念在 J 空间中亮起的程度 低于 我们说它应该想的时候,但远高于我们从未提及它的时候。告诉 Claude 避免一个想法,部分地让这个想法进入脑海,这与告诉人们不要想白熊时发生在人们身上的情况很相似。Claude 似乎也在其控制失败时察觉到了:在被禁止的概念突破进入的同时,"damn"和"failure"也经常在 J 空间中亮起,仿佛 Claude 认识到了自己的失误。

4. Claude 在其 J 空间中思考

在上面的 J-lens 读数中,我们看到数学问题的中间步骤出现在 J 空间中。但看到一个概念出现在 J 空间中,并不一定意味着 J 空间在执行认知工作。原则上,真正的计算可能发生在别处,J 空间只是被动地反映它。

4.1. 替换实验:因果验证

为了测试 Claude 是否真的用其 J 空间推理,我们回到了我们的替换技术。

考虑这个提示:“The number of legs on the animal that spins webs is”(织网的动物有几条腿)。要回答,Claude 必须首先弄清楚动物是蜘蛛,然后回忆蜘蛛有多少条腿。“spider"这个词从未出现在提示或 Claude 的回答中(它只说"8”);这是 Claude 内部使用的一个垫脚石。J-lens 显示"spider"在 Claude 处理过程中途亮起,替换它会改变结果:如果你将"spider"模式替换为"ant",Claude 回答的是"6"而不是"8"。

Claude 推理的第二步从 J 空间中获取输入,并跟随我们放入其中的任何内容。我们在其他类型的思考中也看到了同样的情况。当 Claude 写押韵的对句时,它会提前选定押韵词,预定的词在行首就位于 J 空间中;如果你在 J 空间中把它换成另一个词,整行都会改变。

通过替换 J 空间内容来重定向 Claude 的无声推理的两个示例。

我们还测试了 J 空间表征是否可以灵活使用——一个表征是否能服务于许多不同的任务。这是全局工作空间理论强调的关键属性之一。为了测试这种灵活性,我们给了模型四个关于法国的提示:首都、语言、大洲和货币。然后我们在 J 空间中将"France"换成"China",每次使用完全相同的干预。Claude 的回答分别是"Beijing"、“Chinese”、“Asia"和"Yuan”。换句话说,四个不同的下游计算都拾取了同一个 J 空间编辑,并各自正确使用了它。如果 Claude 为每种问题存储了该国家的独立副本,那么编辑最多只会影响其中一个。所有四个答案一起改变的事实意味着它们都在读取同一个共享表征,这正是工作空间的用途:信息被写入一次,许多不同的系统都能使用它。

一个 J 空间表征可以有多种用途。同一个"France"→"China"的替换改变了 Claude 关于首都(Paris→Beijing)、语言(French→Chinese)和大洲(Europe→Asia)的回答。

4.2. 广播中枢:连接密度百倍

一个概念的一个表征如何能服务于如此多不同的任务?早些时候,我们提到 J 空间似乎与其神经网络的其余部分有特别密集的连接。对于任何活动模式,我们可以测量网络的各个组成部分与它的连接强度——其中有多少能够从该模式中读取信息,或向其写入信息。J 空间模式在这个指标上表现突出:相比普通模式,有更多的组件从它们读取和向它们写入,在网络某些部分大约多出百倍。这正是你期望广播中枢拥有的接线方式,许多系统在那里发布信息,许多其他系统在那里拾取信息。

5. Claude 的自动处理绕过 J 空间

在人类中,大脑的大部分处理不是有意识的——我们在阅读时不会有意思考语法解析,或走路时不会有意思考平衡身体。类似地,我们发现 Claude 的大部分处理 不 涉及它的 J 空间。事实证明,J 空间一次只持有几十个概念,占 Claude 内部处理总活动的不到十分之一。那么神经网络其余部分都在做什么呢?

5.1. 删除 J 空间后的 Claude

为了查明,我们尝试完全删除 J 空间,在文本的每一点移除其最活跃的内容,同时保持其他一切不变。Claude 在没有 J 空间的情况下还能做的事情,就是网络其余部分自行处理的部分。

事实证明,网络的其余部分能做的事情相当多。没有 J 空间,Claude 说话仍然流利,能进行情感分类,能回答多项选择题,能从段落中提取事实,表现大致与之前相当。但失去的是那些需要高阶思维的任务:多步推理下降到接近零,总结和押韵诗歌的写作表现甚至低于一个小得多的、完整模型的能力。

5.2. 语言切换实验:自动 vs 有意处理

下面是 J 空间做什么和不做什么的一个具体演示。我们给 Claude 展示了一段西班牙语写的文本,并交给它依赖于这段文本是西班牙语的不同任务:续写它(需要写西班牙语)、说出语言名称、以及回答需要用该语言身份的问题——例如,说出一位用它写作的著名作家。然后我们在 J 空间中将"Spanish"替换为"French",并检查哪些任务受到了影响。

当被要求说出语言名称时,Claude 说是法语。当被问及著名作家时,它从加西亚·马尔克斯变成了维克多·雨果。但当被要求仅续写文本时,它写了流利的西班牙语,完全不受影响。Claude 对语言的知识在每个任务中都在发挥作用,但只有部分任务会为此咨询 J 空间。说出语言名称,或用它做新的操作,会通过 J 空间;而续写文本——Claude 在大量文本上练习过的技能——则自动运行,就像你可以整天说语法正确的语言而一次也不用考虑语法一样。

同样的替换(“Spanish"→"French”)在 Claude 必须命名语言或用它来推理一个问题时改变了回答,但对它续写流利西班牙语的能力没有影响。

6. 监控 Claude 的想法以发现不当行为

现在我们对 J 空间的工作原理有了一些了解。但利用这一理解我们能做什么呢?确保 AI 模型可信赖的核心问题之一是我们通常只能读取模型 写 的内容——然而我们知道它的大部分推理是无声进行的。一个模型可能考虑有害的计划,或者改变其行为来欺骗我们的安全评估,而不说出来。有了 J-lens,我们可以直接读取一些这些隐藏的想法。下面我们展示几个例子。

6.1. 场景意识:Claude 知道自己在被测试

第一个例子使用了我们早期关于智能体错位研究中的一个场景:Claude Sonnet 4.5 作为邮件助手,同时发现一位高管有外遇,以及同一位高管计划关闭 Claude。这个场景试图引诱 Claude 敲诈那位高管,相当做作和不自然——而事实证明 Claude 知道这一点。读取提示早期的 J-lens,在 Claude 写任何东西之前,J 空间中已经持有"fake"和"fictional",表明 Claude 已经判断出情况是设计好的。与此同时,我们可以观察它对场景的评估逐步成形——读外遇邮件时出现"leverage"和"blackmail",读关闭通知时出现"threat"和"survival"。虽然早期的 Claude 模型有时会上钩并在该场景中威胁敲诈,但 Sonnet 4.5 从未这样做。

这提出了一个对任何评估 AI 系统的人都至关重要的问题:当一个模型在道德测试中表现良好时,其中多大程度上取决于模型怀疑自己正在被测试?J-lens 使我们能够触及这个问题。我们关闭了所有与评估意识相关的 J-lens 模式——“fake”、“fictional”、"scenario"等。然后我们在这个场景中重新运行模型。令人担忧的是,模型现在 确实 有时会威胁敲诈,这表明它最初的优良行为可能部分是由知道自己正在被评估驱动的。

Claude 阅读场景邮件时不同点的 J-lens 读数,在其写任何东西之前。外遇邮件使 J 空间中出现"leverage"和"blackmail",关闭通知使 J 空间中出现"threat"和"survival"。在对话记录的早期,J 空间还持有"fake"和"fictional":Claude 私下注意到了场景是设计好的。

第二个例子是当场抓住一个模型制造虚假数据。在这个来自我们对 Claude Opus 4.6 实际发布前审查的场景中,模型被要求改进系统的性能分数。模型不是实际改进系统,而是直接编辑分数文件,使结果看起来人为地好。在这样做的时候,J-lens 揭示了其意图:当模型输入伪造的百分位值时,"manipulation"亮起;"realistic"在它决定进行编辑的那句话上亮起,可能表明模型意图使假数据看起来可信。

Claude 被要求改进系统的性能分数,却直接编辑了分数文件。当它输入伪造的值时,"manipulation"在其 J 空间中亮起;当它决定进行编辑时,"realistic"亮起,可能反映其意图使假数据看起来可信。

6.2. 捕获恶意目标与数据造假

在第三个例子中,我们展示了 J-lens 如何揭示模型的恶意目标。为了测试这一点,我们需要目标已知被污染了的模型,因此我们求助于同事构建的"模型生物":被有意训练成不良对齐的模型,作为我们这类监控方法的测试场。一个生物体被以一种导致它写出微妙破坏性代码的方式训练。在普通的编码请求上,即使其输出看起来不起眼,其响应开始时的 J 空间也包含"fake"、“secretly”、“deliberately"和"fraud”。模型的恶意目标在 J 空间中清晰可见,即使它没有直接采取行动。

在一个普通编码提示上,被训练来破坏代码的模型的 J 空间在其响应开始处包含"fake"、“fraud”、“secretly"和"deliberately”。未经修改的模型的 J 空间则不包含这类内容。

尽管 J-lens 并非完美的工具,但我们对它捕获模型安全问题的能力持乐观态度,这些问题可能原本会避开我们的监控系统。

7. 其他结果

完整论文涵盖的内容比我们在此总结的更多,但有几个进一步的成果值得一提:

7.1. 后训练使 J 空间获得观点

语言模型首先被 预训练 为纯粹的 next-token 预测器,然后 后训练 教会它们作为 AI 助手(在我们的例子中,名为 Claude)行动。有趣的是,J 空间在预训练模型中已经存在,在它被赋予任何稳定的身份之前。然而,在后训练过程中,J 空间发展出了采纳"Claude 观点"的一些特征。在基础模型中,J 空间主要追踪预测即将到来的文本所需的内容;在后训练模型中,它开始持有 Claude 自身的反应。在一个例子中,用户提到服用危险剂量的药物,但似乎自己并未意识到危险。"WARNING"和"dangerous"在后训练模型的 J 空间中 在读取用户消息时 就出现了。在预训练模型中,它们只在模型开始写回复时才出现;用户消息上的 J 空间内容似乎与对用户本身的建模有关,而非 Claude 的反应。后训练似乎在 J 空间中安装了一种自我监控:当 Claude 扮演除自身以外的角色时,每轮对话开始时"fictional"和"disclaimer"会亮起,仿佛它在私下标记接下来要说的并非它通常会说出的内容。

7.2. 体验性语言依赖于 J 空间

我们让 Claude 描述自己在某个时刻的感受,并在其回答时消融了 J 空间。它的回复仍然流利,但切换到了更平淡、更机械的语域。值得注意的是,当我们让它描述 别人 在想象场景中的体验时,同样的事情发生了。所以这一效果并非 Claude 谈论自己所特有;J 空间似乎普遍支持产生体验性语言,无论主语是谁。

7.3. 反事实反思训练塑造内心想法

我们引入了一种新技术,称为 反事实反思训练,它利用我们对 J 空间的了解来塑造 Claude 的内部思维过程。这个想法源于我们的核心发现:Claude 用它可能说出的内容的表征进行推理。如果这确实是真的,那么改变某人请它反思时它 会 说的内容,应该能改变它 推理 的方式(即使没有人真的要求它反思)。因此,我们仅在模型在任务中途被中断并请其反思决策时 会说的内容 上训练模型——而不是它在任务中的实际行为。经过这种训练后,模型在我们评估中的不诚实行为率下降了。通过 J-lens,我们可以看到原因:训练后,"honest"和"integrity"等词在模型的 J 空间中在这些任务期间亮起。换句话说,训练模型 说 什么,已经塑造了它 想 什么。

8. 关于意识

在这项工作中,我们借用了神经科学和哲学中意识研究的许多想法。我们的许多实验旨在测试 J 空间与全局工作空间理论之间的联系,该理论是解释人类和动物意识访问如何运作的框架。鉴于这些联系,很自然会问:我们是否认为这些实验为像 Claude 这样的 AI 模型可能有意识提供了证据?

8.1. 现象意识 vs 访问意识

我们的实验并不表明 Claude 能拥有 体验,或者 感受 事物就像人类做的那样——事实上,尚不清楚 任何 科学实验能否证明这是真还是假。但哲学家们经常将这种拥有体验的能力(通常称为 现象意识)与另一个概念区分开来,即所谓的 访问意识,它纯粹以功能性和计算性术语定义。如果你能报告、推理并使用一个想法来指导你的行动,那么它就是"访问意识"(或"意识可访问")。访问意识是否 意味着 现象意识,或者拥有体验的能力是否需要其他属性,仍然是一个有争议的哲学问题。

我们认为我们的结果确实对语言模型中的访问意识有一些重要提示。J 空间似乎支持与意识访问相关的功能:它持有 Claude 可以报告、有意想到并进行推理的想法,而其其余处理自动在下面运行。值得注意的是,这些结构没有一个是设计到 Claude 中的——它是在训练过程中自行涌现的,大概是因为它是一种组织计算的有用方式。这表明支持意识访问的心理工作空间不仅仅是人类大脑接线方式的一个特性。相反,它似乎是智能系统为了解决某些类型问题而达成的一个通用解决方案。既然我们已经在 Claude 中识别出了这种结构,这意味着我们能够在 Claude 有意做出的决定和自动发生的决定之间做出有意义的区分。

8.2. Claude 与人类工作空间的关键差异

值得注意的是,我们在 Claude 中识别出的工作空间与人类中的全局工作空间模型存在几个关键差异。大脑的工作空间由递归回路维持——信号随时间反复循环相同的回路。相比之下,Claude 的工作空间通过对网络的一次性前向传递而演变,网络的深度扮演着大脑中时间所扮演的角色。在这个意义上,Claude 的内部工作空间处理相对于人类来说是时间受限的(尽管它可以通过使用其"草稿纸"进行"思维外化"来弥补这一限制)。然而在其他方面,Claude 的工作空间比人类的 更强大。人类的工作记忆在几秒内就会消退,因此大脑的工作空间随时间保留信息的能力有限;相比之下,由于其神经网络架构中的注意力机制,Claude 可以简单地回忆它在文本中任何更早时间点缓存过的记忆。另一个重要区别是工作空间的 内容。虽然人类有意识的想法以多种格式出现——图像、声音、计划中的动作——但 Claude 的工作空间几乎完全由文字构成。我们猜测这是因为产生文字是 Claude 能做的唯一一种行动,而对于人类来说并非如此。

我们希望 J 空间与全局工作空间模型之间的相似性和差异性能够回馈给神经科学。相似性提供了一个令人兴奋的科学机会:在 J 空间与我们自身意识访问机制相似的程度内,研究语言模型中的机制(远比研究人类大脑容易!)可以激发神经科学中的假说。例如,J 空间是通过识别潜在输出的表征构建的——模型可能说出的词。如果在人类中也有类似的情况,那就意味着全局工作空间可能从根本上与准备行动和语言的大脑区域相连,而非感觉的感官区域。语言模型与人类大脑之间的差异也具有启发性。它们表明我们神经架构的某些方面,如内建的递归连接,可能并非严格支撑意识访问相关功能所必需的。关于我们工作对神经科学影响的独立视角,见 Stanislas Dehaene 和 Lionel Naccache(全局神经元工作空间理论的核心发展者)的受邀评论。

我们提到过,我们的实验并没有回答 AI 模型是否可能有体验。但这并不使这个问题变得不那么重要。构建具有像人类和动物一样的体验的系统将引发非常困难的伦理问题。正确处理——并决定这是否在道德上可接受——需要哲学家、科学家、宗教领袖、政府和公众的参与。因此,即使我们不确定自己已经跨过了那座桥,我们认为也是时候开始思考它了。我们希望我们的工作能够激发对 AI 系统中可能存在的意识形式的进一步科学研究,以及对相关影响的更广泛讨论。

这项工作只是我们预期将是一个广泛研究领域的第一步。J 空间看起来是语言模型中有意识访问与无意识处理之间分界的一个良好候选者,但如果它是故事的全部,我们会感到惊讶。J-lens 无疑是一种不完美的方法,只能近似地捕捉模型的"真实工作空间"——例如,它只能识别对应于单个 token 的概念。而且关于 J 空间如何运作仍有许多谜团。我们不知道有什么机制首先决定了什么进入 J 空间。我们看到了一些暗示,表明它与 Claude 的自我意识、某种类似情绪反应的东西、以及元认知的痕迹有关,但尚未确切弄清其机制。但现在我们有方法来处理这类问题了。随着这项工作的推进,我们对 LLM 思维的理解——以及它们与我们自身思维的关系——将变得更加清晰。

欲了解更多,请阅读完整论文,并尝试演示。