现代 LLM 的基石:注意力机制(Attention is All You Need)

1. 现代 LLM 的基石:注意力机制(Attention is All You Need)

[!abstract] 速览

  • 论文提出了 Transformer:一个完全基于注意力、没有任何循环或卷积的序列到序列(Seq2Seq)模型。
  • 整个过程只有矩阵乘法与 softmax,完全可微。天然可并行——这正是它取代循环网络的原因
  • 因果掩码是理解 GPT 类模型的关键:语言模型的训练目标是"给定前文,预测下一个词"。
  • Transformer 的解法是多头注意力(Multi-Head Attention):把 dmodel 维空间切成 h 个低维子空间,各自独立做注意力,再把结果拼接、线性融合:
  • 注意力的打分矩阵 QKᵀ 形状为 n times n:序列长度翻倍,计算与显存开销翻四倍。
  • 更可能的未来是混合:注意力承担"精确检索与回溯",线性复杂度模块承担"廉价的长程背景记忆"。

1.1. 摘要

注意力机制是现代大语言模型(LLM)的核心,由 Google 在 2017 年提出。它通过让序列中的每个元素直接与其他元素交互,解决了传统 RNN 在长程依赖和并行计算上的问题。本文详细介绍了注意力机制的数学表达、多头注意力、位置编码,以及它如何演变成 Transformer 架构。同时,也分析了该机制的计算复杂度,并介绍了 KV Cache、GQA 和 FlashAttention 等优化技术,以及未来可能的替代方案。

1.2. 主要内容

  1. 注意力机制的起源与优势
    在 2017 年之前,序列建模主要依赖 RNN,但其长程依赖难以保持且无法并行。注意力机制的提出,允许模型直接在任意两个位置之间建立联系,从而解决了这些问题,并成为 Transformer 的基础。
  2. 注意力机制的数学原理
    注意力机制基于缩放点积,通过计算查询(Q)与键(K)的相似度,并对值(V)进行加权求和。这种「软寻址」的方式使得模型能够动态地分配关注权重,而多头注意力则允许模型同时捕捉多种不同的关系模式。
  3. 从 Transformer 到现代 LLM
    原始的 Transformer 包含编码器和解码器,但现代 LLM(如 GPT)主要使用仅解码器的架构。因果掩码确保了模型在生成文本时只能看到过去的上下文,而位置编码则解决了注意力机制天然缺乏顺序信息的缺陷。
  4. 计算复杂度的挑战与优化
    注意力机制的计算复杂度为 O(n²),这在长序列中会导致巨大的内存和计算负担。为了解决这个问题,业界开发了 KV Cache、GQA(分组查询注意力)和 FlashAttention 等技术,显著降低了推理和训练的成本。
  5. 未来的发展方向
    尽管注意力机制目前仍是主流,但状态空间模型(SSM)等线性复杂度模型正在崛起,并可能在未来与注意力机制结合,形成混合架构,以同时利用两者的优点。

作者:Onebooming Technology

—— 图文详解 Transformer 与现代大语言模型的核心原理 ——

导语:2017 年 6 月,Google 的八位研究员在 arXiv 上传了一篇论文,标题带着几分挑衅——《Attention Is All You Need》(注意力就是你所需要的一切)。他们抛掉了统治序列建模二十年的循环网络与卷积网络,只留下一个想法:让序列中的每个元素直接"询问"所有其他元素。这个想法后来成为 BERT、GPT、ChatGPT、Llama、DeepSeek 等一切现代大语言模型(LLM)共同的地基。本文将从动机、直觉、数学、架构到工程优化,完整拆解注意力机制。

1.3. 前注意力时代:序列建模的"接力赛"困境

1.3.1. RNN 与 LSTM:尽职的接力员

在 2017 年之前,处理文本、语音这类序列数据的主流架构是循环神经网络(RNN)及其改进版 LSTM、GRU。它们的工作方式像一场接力赛:逐个读入词元(token),把截至当前的所有信息压缩进一个固定长度的隐状态向量 ht,再传给下一步——

ht = tanh(Wh ht-1 \+ Wx xt)

直觉上,ht 就是"读到第 t 个词为止整句话的记忆"。LSTM 用门控机制缓解了梯度消失,让记忆能传得更远,但接力赛的根本困难并未消除。

1.3.2. 三大痛点

  1. 长程依赖难以保持:第一个词的信息要影响第一百个词,必须经过 99 次"接力",信号逐层稀释、失真。“小明养了一只猫,每天放学他都会先喂它吃鱼,写完作业再陪它玩球,直到妈妈喊吃饭……它蹭了蹭小明的腿。”——要正确理解句末的"它",模型必须跨过几十个词回望句首的"猫"。
  2. 无法并行:ht 依赖 ht-1,整个序列必须串行计算。GPU 擅长成千上万路并行,RNN 却只能一个一个来,训练效率极低。
  3. 信息瓶颈:无论句子多长,任意时刻的"记忆"都被压进同一个固定维度向量,容量天然受限。

图 1 左:RNN 中信息必须沿隐状态逐级传递,长距离路径长且逐层稀释;右:自注意力中任意两个位置一步直达,且可完全并行。

1.3.3. 注意力的登场:从"辅助模块"做起

注意力思想并非 Transformer 首创。2014 年,Bahdanau 等人在机器翻译中给"编码器—解码器"结构加了一个对齐模块:解码器生成每个词时,可以回看源句所有位置,按相关度加权取用信息——这显著改善了长句翻译。此后两年,注意力一直是 RNN 的"外挂"。2017 年的Transformer 论文提出了那个大胆的问题:既然注意力这么好用,把 RNN 扔掉行不行? 答案是:行,而且更好。

1.4. 年:一篇论文,一句话宣言

《Attention Is All You Need》由 Vaswani 等八人完成(其中多位后来成为 AI 界风云人物),发表于 NeurIPS 2017。论文提出了 Transformer:一个完全基于注意力、没有任何循环或卷积的序列到序列(Seq2Seq)模型。

几个常被忽略的事实:

  • 它最初的任务很"朴素":英德/英法机器翻译。基座模型只有 6500 万参数(大版本 2.13 亿),在今天动辄千亿参数的尺度下小得可怜。
  • 训练基座模型仅需 8 张 P100 GPU 约 12 小时,却刷新了当时的翻译纪录(WMT 2014 英德 BLEU 28.4)。
  • 论文标题是对当时主流范式的宣战:序列建模不需要"逐步递推",只需要"注意力"。
  • 这篇论文已成为 AI 史上被引用最多的文献之一,引用量超过十万次。

从"翻译模型"到"大语言模型的地基",Transformer 走过的路,正是本文接下来的内容。

1.5. 解剖注意力:Q、K、V 与缩放点积

1.5.1. 一个类比:软寻址的数据库

把注意力想象成一次可微分的数据库查询。数据库的每一行有"键(Key)“和"值(Value)”,你拿着"查询(Query)"去检索:

数据库检索 注意力 作用
Query 查询词 每个 token 的查询向量 q 我要找什么信息
Key 索引 每个 token 的键向量 k 我能被怎样匹配到
Value 内容 每个 token 的值向量 v 我实际携带的信息
精确匹配、取回一条 相似度打分 → softmax → 加权求和 按相关度按比例融合所有信息

[!tip] 软寻址的关键差异
关键差异在于"软":数据库只返回一条记录,而注意力返回所有记录的加权平均——权重由 Q 与每个 K 的匹配程度决定,整个过程连续可导,因此可以端到端训练。

原图内文字(剪藏未保存原图,以下按原顺序保留)

类比:一次“软寻址”的数据库查询

Query(查询):“它”指代谁?

相似度 0.50
相似度 0.35
相似度 0.05

KII: 小猫
KII: 皮球
KII: 街道

softmax 权重 0.62
softmax 权重 0.28
softmax 权重 0.10

VD = 语义A
VD = 语义B
VD = 语义C

输出 = 0.62 VD + 0.28 VD + 0.10 VD → 语义上更接近“小猫”

从词向量到 Q、K、V:三组可学习的投影

X: 全部词向量堆叠 (n × d_mode)

W_Q
W_K
W_V

Q
K
V

Q(极度找什么)
K(我能够支持找到)
V(我携带的内容)
每个 token 的向量 x 分别乘三个矩阵,得到它自己的 q、k、v

Attention(Q, K, V) = softmax( Q•KII / vdII ) • V

打分(有多相关)→ 缩放(稳定数值)→ 归一化(变成权重)→ 加权求和(融合信息)

整个过程只有矩阵乘法与 softmax,完全可微。天然可并行——这正是它取代循环网络的原因

公众号:Onebooming Technology

图 2 上左:Q 与各 K 的相似度经 softmax 变成权重,对 V 加权求和;上右:每个 token 的词向量分别乘三个可学习矩阵得到自己的 q、k、v。

Q、K、V 从哪来?由同一个输入 X 通过三组可学习的线性变换生成:

Q = XWQ,quad K = XWK,quad V = XWV

1.5.2. 数学表达:缩放点积注意力

Attention(Q, K, V) = softmax( QKᵀ / √dk ) · V

这个公式值得逐个算子拆开看:

步骤 运算 形状 含义
① 打分 QKᵀ (n×n) 每个 query 与每个 key 的点积相似度
② 缩放 ÷ √dk (n×n) 防止数值过大
③ 掩码 + Mask(可选) (n×n) 屏蔽不该看到的位置
④ 归一化 softmax(按行) (n×n),每行和=1 相似度变成概率分布(权重)
⑤ 取值 × V (n×d_k) 权重对值向量加权求和

其中 n 是序列长度,dk 是每个头的维度。一行权重就是一个 token 对整个序列的"注意力分配方案";整个注意力计算只由矩阵乘法和 softmax 构成——没有递推,天然可并行。

图 3 缩放点积注意力的五步流水线。Q 决定"问什么",K 用于"被打分",V 是被取用的"内容"。

1.5.3. 亲手算一遍:三个词的迷你例子

公式不复杂,我们用一组能手算的数字过一遍。设词表为「我、爱、猫」,令 dk = 2,词向量分别为 我 = (1, 0),爱 = (0, 1),猫 = (1, 1),并故意让三个投影矩阵 WQ = WK = WV = I(单位矩阵),于是 Q = K = V = X。

第一步:打分并缩放。 QKᵀ/√2 逐行算出:

Query ↓ 我 爱 猫
我 0.71 0.00 0.71
爱 0.00 0.71 0.71
猫 0.71 0.71 1.41

第二步:按行 softmax。 例如"我"这一行:e0.71: e0: e0.71 approx 2.03: 1: 2.03,归一化后:

Query ↓ 我 爱 猫
我 0.40 0.20 0.40
爱 0.20 0.40 0.40
猫 0.25 0.25 0.50

第三步:加权求和。 输出 = 权重 × V,例如"我"的新表示 = 0.40·(1,0) + 0.20·(0,1) + 0.40·(1,1) = (0.80, 0.60)。同理可得"爱"→(0.60, 0.80),"猫"→(0.75, 0.75)。

请注意发生了什么:每个词的新向量,都是全句信息的加权融合。"我"融合了 40% 的"猫"的语义;“猫"的打分行里自己最高(1.41),因为它与"我”"爱"都重叠——注意力矩阵完全由向量间的关系决定,与词的位置无关(这正是后文要谈位置编码的原因)。

1.5.4. 为什么要除以 √dₖ

[!note] 一个小小的除法稳住整个训练
假设 q 与 k 的各分量是均值 0、方差 1 的独立随机变量,则点积 q · k = Σi=1…d_k qi ki 的方差为 dk。当 dk = 64 时点积标准差为 8,量级一大,softmax 就会趋近 one-hot(某个权重≈1,其余≈0),梯度几乎为零,训练停滞。除以 √dk 把方差拉回 1,softmax 保持"柔软",梯度流通畅。一个小小的除法,稳定了整个模型的训练。

1.6. 注意力的三个变体:自注意力、交叉注意力、因果掩码

按 Q、K、V 的来源,常见注意力分三类:

变体 Q 来源 K、V 来源 典型位置 代表模型
自注意力 Self-Attention 同一序列 同一序列 编码器;解码器内部 BERT、GPT、一切 LLM
交叉注意力 Cross-Attention 解码器 编码器输出 编码器-解码器之间 原始 Transformer、翻译/多模态模型
因果(掩码)注意力 Causal/Masked 当前序列 当前序列(仅过去) 解码器自注意力 GPT 系等生成式模型

因果掩码是理解 GPT 类模型的关键:语言模型的训练目标是"给定前文,预测下一个词"。若预测第 3 个词时模型能看见第 4 个词,就是作弊。解决办法极其简单——在 softmax 之前,把打分矩阵的上三角全部置为 -infty:

scoreij = qi · kj / √dk \+ Mij,其中 Mij = 0(j ≤ i)或 −∞(j > i)

softmax 后,-infty 位置的权重恒为 0,未来的词被彻底屏蔽。

1.6.1. 为什么要掩码?

  • 生成第 t 个词时,只能看到前 t 个词(自回归语言模型的基本约束)
  • 实现:softmax 之前,把上三角位置加上 -∞,softmax 之后这些位置恒为 0
  • 训练与生成保持一致:训练时一次前向即可并行预测每个位置;生成时逐步输出、绝不偷看未来。

原图内文字(剪藏未保存原图,以下按原顺序保留)

因果掩码:只能“看见”当前及之前的词

| Query 1 | 描述 | 省略 | 说明 | 7 |

| 模糊 | 1.00 | × | × | × | × |
| 0.58 | 0.42 | × | × | × | × |
| 0.30 | 0.46 | 0.24 | × | × | × |
| 0.18 | 0.38 | 0.14 | 0.30 | × | × |
| 0.24 | 0.30 | 0.10 | 0.24 | 0.12 | × |
| 0.18 | 0.20 | 0.10 | 0.20 | 0.22 | 0.10 |

score = QK\\[I / vd[I + M, 其中 M[j>i] = -∞\\]

公众号:Onebooming Technology

图 4 因果掩码:绿色单元为可见的注意力权重,灰色"×"为被屏蔽的未来位置。掩码让"一次前向并行训练"与"逐词生成"保持一致。

这个设计还有个优雅的副产品:训练时一句 1 万词的长文本一次前向就能并行产出所有位置的预测(每个位置各带掩码),生成时逐词输出、绝不偷看——训练与推理天然一致。

1.7. 多头注意力:一个"视角多样的委员会"

一次注意力只能产出一种"关注模式"。但语言关系是多面的:句法(主谓一致)、指代(“它"→"小猫”)、搭配(“追”+“球”)、远距离语义……如果只有一个头,softmax 的平均效应会把不同模式稀释在一起。

Transformer 的解法是多头注意力(Multi-Head Attention):把 dmodel 维空间切成 h 个低维子空间,各自独立做注意力,再把结果拼接、线性融合:

MultiHead(Q,K,V) = Concat(head1, dots, headh)WO

headi = Attention(QWiQ,\; KWiK,\; VWiV)

原文取 h = 8、dk = dmodel/h = 64。每个头参数独立、关注不同的关系模式,就像一个委员会里坐着语法学家、小说家、逻辑学家,各自审阅后汇总意见。后续研究(如 Clark et al. 2019 对 BERT 的分析)确实发现:某些头专司句法依存,某些头追踪指代,某些头只看相邻位置——分工客观存在。

图 5 X 经 h 组投影并行做注意力(每个头在不同子空间学习不同模式),拼接后经 Wᴼ 融合输出。

1.8. 缺失的一块:位置编码

[!important] 注意力是置换不变的
注意力有一个"先天缺陷":它是置换不变的——把一句话的词随机打乱,注意力的计算结果只是相应换行换列,每个词融合到的信息集合完全不变。换言之,注意力知道"谁和谁相关",却不知道"谁在谁前面"。而语序显然重要:"猫追球"和"球追猫"必须不同。

补丁是位置编码(Positional Encoding, PE):给每个位置 pos 生成一个位置向量,直接加到词嵌入上。原文用一组不同频率的正弦/余弦波:

PE(pos, 2i) = sin( pos / 100002i/d_model ),PE(pos, 2i+1) = cos( pos / 100002i/d_model )

把它画出来就能直观理解:

图 6 左:不同维度的正弦波形——低维震荡快、高维震荡慢;右:完整 PE 矩阵,每一行是一个位置独一无二的"指纹"。

低维像秒针、高维像时针,一组"多分辨率尺子"组合出每个位置独一无二的编码,且任意固定偏移 PEpos+k 都可表示为 PEpos 的线性函数——模型很容易学到相对位置关系。这套编码还有个实用优点:无需训练、可外推到训练中没见过的长度。

位置编码的后续演进同样精彩:BERT/GPT-2 改用可学习的绝对位置向量;GPT-Neo/Pythia 沿用之;而现代主流模型(Llama、Qwen、DeepSeek、ChatGLM 等)几乎清一色采用 RoPE 旋转位置编码(Su et al., 2021)——把位置信息旋转进 Q、K 向量,使注意力打分自然只依赖相对位置,便于外推长上下文;长上下文场景还常见 ALiBi(Press et al., 2022)等线性偏置方案。万变不离其宗:都是给"天生无视顺序"的注意力注入顺序感。

1.9. 拼装成 Transformer:完整架构一览

有了积木,可以搭房子了。原始 Transformer 是编码器—解码器结构,两座各 6 层(N=6)的塔:

原图内文字(剪藏未保存原图,以下按原顺序保留)

Transformer 整体架构(编码器 × N + 解码器 × N)

编码器 Encoder

解码器 Decoder
下一个词的概率分布

Softmax

Linear 线性层

Add & Norm

前馈网络 FFN

Add & Norm

交叉注意力
Qr-解码器 K,V-编码器

Add & Norm

带掩码的多头自注意力

输出词嵌入(右移一位)

编码器输出 → K, V

编码器层 × N

Add & Norm

前馈网络 FFN

Add & Norm

多头自注意力

位置编码

输入词嵌入 Input Embedding

公众号:Onebooming Technology

每个子层都配有残差连接(Add)与层归一化(Norm),原文 N=6,d_model=512,h=8,FFN 维度 2048

图 7 原始 Transformer:编码器(左)把输入序列加工成一串"记忆",解码器(右)自回归地生成输出,并在交叉注意力中随时查询编码器。

编码器(吸收输入)每层含两个子层:

  1. 多头自注意力:输入句内部互相交换信息;
  2. 前馈网络 FFN:对每个位置独立做两次线性变换夹一个 ReLU(dmodel=512 to 2048 to 512),负责"消化"注意力汇聚来的信息,可视为键值记忆库。

解码器(生成输出)每层含三个子层:

  1. 带掩码的多头自注意力:生成端序列内部交互,但只能看过去;
  2. 交叉注意力:Q 来自解码器,K、V 来自编码器输出——“翻译当前词时,去源句里查 Relevant 部分”;
  3. 前馈网络 FFN。

三个工程细节同样功不可没:

  • 残差连接 + 层归一化(Add & Norm):每个子层的输出是 LayerNorm(x + Sublayer(x))。残差让深层网络可训练,归一化稳定数值分布。
  • 位置编码以相加方式注入两塔底部(图 7 中的 ⊕)。
  • 大规模训练技巧:标签平滑、 dropout、Noam 学习率 warmup 等,保证了这套架构能被稳定训练起来。

顺带一提"解码器的右移一位(shifted right)“:训练时解码器输入是目标句整体右移一格(开头补起始符),这样第 t 个位置的输入恰好是前 t-1 个词,用于预测第 t 个词——和因果掩码相配合,保证"用过去预测未来”。

1.10. 注意力学到了什么:热力图的证据

注意力矩阵本身就是一张可读的"读句记录"。把一个中文句子喂给模型,取出某一层的注意力权重画成热力图,能看到模型如何分配"目光":

原图内文字(剪藏未保存原图,以下按原顺序保留)

Key →
Query ↓

小猫 追着 球 跑 因为 它 太 兴奋 了

0.18 0.30 0.24 0.10

0.38 0.10 0.27 0.09

0.22 0.37 0.20

0.33 0.27 0.14

0.05 0.23 0.35

0.50 0.22 0.18 0.20 0.24

0.24 0.11 0.23 0.47

0.20 0.34 0.10 0.18

0.6

7

(示意数据:真实模型(如 BERT、GPT)的注意力模式与业余认知同步丰富,用 WebView工具获取 Technology)

读图指南

  • “它”这一行:权重 0.52 集中在 “小猫” ——模型自动完成指代消解
  • “兴奋”关注 “它 / 小猫”:语义关联
  • “跑”同时关注 “小猫”和 “球”:论元结构
  • 对角线:每个词保留自身信息
  • 标点、虚词的注意力往往较分散

图 8 示例句的注意力热力图(示意数据)。每一行是一个 Query 的权重分布;红框标出的"它"行,权重集中于"小猫"。

几个典型观察:

  • 指代消解:"它"的注意力大片落在"小猫"上——模型没有被人明确教过语法,却在优化"预测下一个词"的过程中自发学会了"它"指谁;
  • 论元结构:“跑"同时关注"小猫"与"球”(谁在跑、跑的对象);
  • 语义关联:“兴奋"回望"它”“小猫”;
  • 对角线:每个词通常保留相当比例的自关注;
  • 标点与虚词的注意力往往分散,充当"喘息位"。

(图为示意数据;真实模型中注意力模式更丰富,且随层深演变——底层偏局部,高层偏语义。可用 BertViz 等工具交互式探索。)

1.11. 从 Transformer 到现代 LLM

Transformer 出世后,沿着两个方向迅速裂变:

图 9 上:模型演进时间线;下:让注意力在工业规模上可行的三项关键技术。

年份 模型 架构路线 关键贡献
2017 Transformer 编码器+解码器 注意力取代 RNN/CNN
2018 BERT 仅编码器 双向预训练 + 微调范式
2018 GPT-1 仅解码器 生成式预训练
2019 GPT-2 仅解码器 15 亿参数,零样本能力初显
2020 GPT-3 仅解码器 1750 亿参数,上下文学习(ICL)
2022 ChatGPT 仅解码器 RLHF 对齐,AI 走向大众
2023 GPT-4 / Llama 仅解码器 多模态 / 高质量开源基座
2024– Llama-3、Qwen、DeepSeek 等 仅解码器(常配 MoE) 开源繁荣、超长上下文、低成本训练

三条路线中,为什么仅解码器(Decoder-only)+ 因果注意力最终一统 LLM?

  1. 训练目标即产品目标:预测下一个词与"生成文本"完全一致,数据效率极高——互联网上所有文本都是免费教材;
  2. 规模化友好:因果注意力训练一次前向即可并行计算所有位置的损失,天然适合堆算力;
  3. 推理自然:自回归生成 + KV Cache(见下节)构成高效的推理路径;
  4. 架构极简:去掉编码器与交叉注意力,模型更简单,缩放定律(Scaling Laws)更可预测。

BERT 路线在理解类任务上依旧有价值(embedding、检索、分类),但今天的生成式 LLM 几乎清一色是"因果自注意力的堆叠"。

1.12. 甜蜜的负担:O(n²) 与效率革命

1.12.1. 平方复杂度从哪来

注意力的打分矩阵 QKᵀ 形状为 n times n:序列长度翻倍,计算与显存开销翻四倍。句子只有几十词时无感,可现代 LLM 动辄 128K 上下文——2018 年 BERT 是 512,2020 年 GPT-3 是 2048,2023 年 GPT-4 Turbo 达 128K,2024 年 Gemini 1.5 Pro 支持百万级 token。没有下面这些工程突破,长上下文在数学上就不可行。

不同层类型的计算复杂度对比(源自 1)

层类型 每层计算复杂度
自注意力 Self-Attention \( O(n^2 \cdot d) \)
循环网络 Recurrent \( O(n \cdot d^2) \)
卷积 Convolutional \( O(k \cdot n \cdot d^2) \)
受限自注意力 Restricted \( O(r \cdot n \cdot d) \)

n = 序列长度,d = 表示维度

注意力的顺序操作只有 \( O(1) \),任意两位宫路径长度 \( O(1) \),天

(源自 Transformer 论文 Table 1)

| 算复杂度 | 顺序操作数 | 最大路径长度 |

| \( n^2 \cdot d \) | \( O(1) \) | \( O(1) \) |
| \( n \cdot d^2 \) | \( O(n) \) | \( O(n) \) |
| \( \cdot n \cdot d^2 \) | \( O(1) \) | \( O(\log_k n) \) |
| \( \cdot n \cdot d \) | \( O(1) \) | \( O(n / r) \) |

图例:

  • 实例列表: 受限领域和ebooming Technology
  • 复 \( O(1) \),天然适合 GPU 并行;代价是随序列长度的平方增长

图 10 论文 Table 1:自注意力的顺序操作与路径长度都是 O(1),代价是 O(n²·d) 的计算量。

1.12.2. KV Cache:自回归推理的第一根救命稻草

生成第 100 个词时,前 99 个词的 K、V 不会变——干脆缓存起来,每步只计算新 token 的 q、k、v。这把每步推理的注意力开销从 O(n²) 摊销到 O(n),代价是 KV 缓存随上下文线性增长。

[!example] KV 缓存的一笔账
算一笔账(Llama-2-70B,80 层、GQA 8 个 KV 头、每头 128 维、FP16):每 token 的 KV 缓存 = 2 × 80 × 8 × 128 × 2 字节 ≈ 320 KB;128K 上下文就是 约 40 GB——比模型权重还难伺候。于是有了下一步优化。

1.12.3. MQA / GQA / MLA:给 KV"瘦身"

  • MQA(Multi-Query Attention,Shazeer 2019):所有查询头共享同一组 K、V,缓存直接除以头数,但质量略降;
  • GQA(Grouped-Query Attention,Ainslie 2023):折中方案,每若干个查询头共享一组 KV(如 Llama-3-70B:64 个查询头共享 8 组 KV),质量几乎无损、缓存降为 1/8;
  • MLA(Multi-head Latent Attention,DeepSeek-V2 2024):把 K、V 压缩到低秩潜在向量再按需还原,KV 缓存削减约 90%+,已成为 DeepSeek 系列的招牌技术。

1.12.4. FlashAttention:不改数学,只改访存

Tri Dao(2022)发现注意力的瓶颈往往不在浮点运算,而在显存读写(HBM)。FlashAttention 把 Q、K、V 分块搬进高速 SRAM,在片内完成"打分—softmax—加权"并融合写回,全程不落盘 n times n 大矩阵。数学结果分毫不变,长序列训练却提速数倍、激活显存从 O(n²) 降到 O(n)。它已内置于 PyTorch、Hugging Face 等主流框架,是事实上的标准件。

1.12.5. 更激进的路线

让注意力本身摆脱平方复杂度的研究从未停止:稀疏注意力(Longformer、BigBird 只 attend 局部+全局锚点)、线性注意力(Linear Transformer、Performer 用核方法近似 softmax)、以及状态空间模型(详见下节)。它们在超长序列上各有斩获,但"稠密注意力 + FlashAttention + GQA/MLA"的组合至今仍是主流。

1.13. 注意力会被取代吗?

近年最有力的挑战者是状态空间模型(SSM),代表作品 Mamba(Gu & Dao, 2023):用固定容量的隐状态做线性复杂度的序列压缩,长序列推理极快。还有混合架构(DeepMind 的 Griffin、AI21 的 Jamba、Mamba-2 系列)把"少量注意力层 + 大量 SSM/门控层"拼接,兼得两者长处;国产模型 MiniMax-01(2025)也采用了" lightning attention + 全注意力"的混合设计。

[!important] 注意力难以被替代的两个禀赋
但截至今天,一个事实依然稳固:几乎所有头部 LLM(GPT-4/5、Claude、Gemini、Llama、Qwen、DeepSeek、GLM……)的核心仍是(经过工程优化的)注意力机制。原因在于注意力的两个禀赋难以替代:

  1. 精确的信息检索:注意力能在一步之内"抄写"任意远处的关键信息(如把上文某个 ID 原样带到下文),固定状态压缩很难做到这种像素级精确;
  2. 可预测的规模化:从 2017 年到今天,"更多数据 + 更大模型 + 更多算力 → 更强能力"的缩放规律在 Transformer 上被反复验证。

更可能的未来是混合:注意力承担"精确检索与回溯",线性复杂度模块承担"廉价的长程背景记忆"。无论哪种格局,读懂注意力依然是读懂一切现代 LLM 的第一课——正如那篇论文的标题所言:Attention is all you need(至少到目前为止,你需要的绝大部分确实是它)。

1.14. 结语:回顾五个要点

  1. 注意力 = 软寻址的加权检索:Q 找、K 被找、V 被取,softmax 相似度变权重,加权求和融信息;
  2. 缩放点积 + 多头是标准形态:除以 √dk 稳训练,多头让模型多视角并行关注句法、指代、语义等不同关系;
  3. 置换不变 → 需要位置编码:从正弦 PE 到 RoPE,都是给注意力注入顺序感;
  4. Transformer = 注意力 + FFN + 残差,其"仅解码器 + 因果掩码"变体经 GPT 系列验证,成为现代 LLM 的统一底座;
  5. O(n²) 是代价,工程是解药:KV Cache、GQA/MLA、FlashAttention 让百万 token 上下文成为可能。

从 2017 年那句轻狂的标题,到今天人人可用的对话助手,注意力机制用最简单的公式 softmax(QKᵀ/√dk)V 承载了一场范式革命。理解它,就拿到了打开现代 AI 世界的钥匙。

1.15. 延伸阅读与参考文献

  1. Vaswani, A., et al. Attention Is All You Need. NeurIPS 2017. arXiv:1706.03762
  2. Bahdanau, D., Cho, K., Bengio, Y. Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015. arXiv:1409.0473
  3. Devlin, J., et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019. arXiv:1810.04805
  4. Radford, A., et al. Improving Language Understanding by Generative Pre-Training (GPT-1). 2018; Language Models are Unsupervised Multitask Learners (GPT-2). 2019.
  5. Brown, T., et al. Language Models are Few-Shot Learners (GPT-3). NeurIPS 2020. arXiv:2005.14165
  6. Ouyang, L., et al. Training language models to follow instructions with human feedback (InstructGPT/RLHF). NeurIPS 2022. arXiv:2203.02155
  7. Su, J., et al. RoFormer: Enhanced Transformer with Rotary Position Embedding (RoPE). 2021. arXiv:2104.09864
  8. Shazeer, N. Fast Transformer Decoding: One Write-Head is All You Need (MQA). 2019. arXiv:1911.02150
  9. Ainslie, J., et al. GQA: Training Generalized Multi-Query Transformer Models. 2023. arXiv:2305.13245
  10. Dao, T., et al. FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS 2022. arXiv:2205.14135
  11. Clark, K., et al. What Does BERT Look At? An Analysis of BERT’s Attention. BlackboxNLP 2019. arXiv:1906.04341
  12. Gu, A., Dao, T. Mamba: Linear-Time Sequence Modeling with Selective State Spaces. 2023. arXiv:2312.00752
  13. Tay, Y., et al. Efficient Transformers: A Survey. ACM Computing Surveys 2022. arXiv:2009.06732
  14. DeepSeek-AI. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model (MLA). 2024. arXiv:2405.04434

推荐可视化教程:Jay Alammar, The Illustrated Transformer;BertViz(注意力交互可视化工具)。