浅谈高效 LLM 架构：六大范式与跨模态应用

1. 引言

随着大语言模型（LLM）规模的持续增长，计算效率已成为制约其发展的关键瓶颈。标准的 Transformer 架构虽然功能强大，但其自注意力机制的二次方复杂度（O(n²)）在处理长序列时面临严峻挑战。

为解决这一问题，研究社区提出了多种高效架构方案，从不同角度优化计算效率。本文将系统梳理当前主流的六大高效架构范式，分析其核心思想、代表性工作及适用场景，为研究者和实践者提供一份全面的参考指南。

2. 六大主流范式

2.1 线性序列建模：突破二次方复杂度

线性序列建模旨在将自注意力的二次方复杂度降低到线性复杂度（O(n)），从根本上解决长序列处理的效率问题。这一方向主要包含三条技术路线：线性注意力、线性 RNN和状态空间模型（SSM）。

2.1.1 线性注意力 (Linear Attention)

线性注意力的核心思想是通过近似 Softmax 函数，将注意力计算分解为可分离的形式，从而将复杂度从 O(n²) 降至 O(n)。

代表工作：

• Performer：使用随机特征方法近似 Softmax，实现了线性复杂度的注意力计算。
• Linear Transformer：直接移除 Softmax，使用简单的核函数替代，获得了线性复杂度和更好的并行性。

2.1.2 线性 RNN (Linear RNN)

线性 RNN 通过设计特殊的循环结构，使 RNN 能够并行训练，同时保持线性复杂度。

代表工作：

• RWKV：结合了 RNN 的循环特性和 Transformer 的并行训练能力，实现了高效的序列建模。
• RetNet：通过保留机制和循环机制的结合，提供了高效的长序列处理能力。

2.1.3 状态空间模型 (State Space Models)

状态空间模型源于控制理论，通过结构化矩阵和高效的卷积实现，实现了线性复杂度的序列建模。

代表工作：

• S4：使用对角化状态空间矩阵，实现了高效的序列建模，特别适合处理长序列。
• Mamba：结合了 SSM 的高效性和选择性机制，在各种任务上表现出色。

2.2 稀疏序列建模：选择性注意力计算

稀疏序列建模不改变标准注意力的计算复杂度，而是通过选择性计算部分注意力权重，从而减少实际计算量。这一方向主要包含三种方法：静态稀疏注意力、动态稀疏注意力和免训练稀疏注意力。

2.2.1 静态稀疏注意力 (Static Sparse Attention)

静态稀疏模式根据预定义的模式进行稀疏计算，不依赖于输入内容。

• 滑动窗口 (Sliding Window)：每个词元只关注其邻近的词元。
• 扩张窗口 (Dilated Window)：类似空洞卷积，以一定的步长跳跃式地关注词元。
• 全局注意力 (Global Attention)：指定少数几个「全局」词元（如文档的标题或特殊 token），允许所有其他词元都与它们进行交互。

代表工作：

• Longformer：结合了滑动窗口和全局注意力，成为处理长文档的经典模型之一。
• BigBird：结合了窗口、全局和随机三种稀疏模式，理论上保证了万能逼近能力。

2.2.2 动态稀疏注意力 (Dynamic Sparse Attention)

动态稀疏模式根据输入内容自适应地决定注意力计算的模式，理论上更灵活，表达能力更强。

代表性工作：

• Reformer：使用局部敏感哈希（Locality-Sensitive Hashing, LSH）将相似的 Query 和 Key 分到同一个桶中，只在桶内进行注意力计算。
• Routing Transformer：使用 k-means 聚类动态地对词元进行分组。

2.2.3 免训练稀疏注意力 (Training-free Sparse Attention)

这类方法主要用于加速已预训练好的模型的推理过程，特别是针对长上下文的解码阶段。

核心挑战在于：自回归解码时，每生成一个新词元，都需要将它与之前所有词元的 Key 和 Value（即 KV 缓存）进行注意力计算。随着序列变长，KV 缓存的加载成为内存带宽瓶颈。

代表性工作：

• StreamingLLM：发现初始的几个词元（称为「注意力接收器」Attention Sinks）在整个生成过程中持续吸引了大量的注意力。因此，只需缓存这些接收器和最近的一个滑动窗口即可处理无限长的序列，而内存占用保持不变。
• H2O (Heavy Hitter Oracle)：通过一种优化算法，动态地从 KV 缓存中驱逐「不重要」的词元，只保留那些对注意力输出贡献最大的「重击者」。

2.3 高效全注意力：优化而非替代

这一类方法并不改变标准 Softmax 注意力的理论计算，而是通过硬件感知的算法优化来加速实际的计算过程。它们的目标是在不牺牲任何模型精度的情况下，获得显著的墙钟时间（wall-clock time）加速。

2.3.1 IO 感知注意力 (IO-Aware Attention)

现代 GPU 的计算速度远快于其内存访问速度。标准注意力计算的瓶颈往往在于从高带宽内存（HBM）到片上高速缓存（SRAM）的数据传输（I/O）。

代表性工作：FlashAttention

• 核心思想：避免将完整的注意力矩阵写入和读出 HBM。它将输入切分成小块（tiles），逐块从 HBM 加载到 SRAM 中。在 SRAM 内部完成该块的注意力计算，然后将结果写回 HBM。
• 关键技术：分块计算（tiling）、重计算（recomputation）与内核融合，避免存储完整注意力矩阵。
• 影响：FlashAttention 已成为训练和推理 LLM 的行业标准，它在不损失精度的情况下，带来了数倍的速度提升和显著的内存节省。

FlashAttention 各版本核心特点的简明对比：

• FlashAttention-1：首创 IO 感知注意力，通过分块计算和核函数融合，大幅减少显存访问，提升效率，保持精确注意力。
• FlashAttention-2：在 1 的基础上进一步优化并行和吞吐量，改进线程分配、减少非矩阵运算、优化跨线程通信，更好发挥 GPU 性能。
• FlashAttention-3：针对新一代 GPU（如 Hopper）设计，利用 TMA 实现异步数据预取，支持 FP8 低精度和块级量化，进一步提升速度和节省内存。

一句话总结：v1 注重 IO 优化，v2 强化并行效率，v3 结合新硬件特性和低精度计算。

2.3.2 分组注意力 (Grouped Attention)

这类方法主要解决自回归解码时的 KV 缓存问题。

• Multi-Query Attention (MQA)：所有注意力头共享同一组 Key 和 Value 投影。这使得 KV 缓存的大小减少了 h 倍（h 是头的数量），但可能导致一定的性能下降。
• Grouped-Query Attention (GQA)：一种折中方案。将查询头分成几组，每组内的头共享同一组 K/V。这在保持接近 MQA 的推理速度的同时，获得了接近标准多头注意力（MHA）的模型质量。GQA 已被广泛应用于 Llama、Mixtral 等主流模型中。

2.4 稀疏专家混合 (MoE)：以条件计算扩展模型规模

2.4.1 核心组件与工作流程

稀疏专家混合（Mixture-of-Experts, MoE）是一种从 FFN 层入手提升效率的架构。其核心思想是，将模型的总参数量大幅增加，但在处理每个输入时，只激活其中一小部分参数进行计算。

核心组件：

1. 专家 (Experts)：通常是多个独立的 FFN 层。
2. 门控网络 (Gating Network or Router)：一个小型神经网络，负责为每个输入的词元决定应该将它发送给哪些专家处理。

工作流程：

1. 对于一个输入词元，门控网络计算其与所有专家的相关性分数。
2. 选择分数最高的 Top-k 个专家（通常 k=2）。
3. 该词元被发送给这 k 个专家并行处理。
4. 最终的输出是这 k 个专家输出的加权和，权重也由门控网络提供。

挑战与解决方案：

• 负载不均衡 (Load Imbalance)：某些专家可能被频繁选择，而另一些则很少被使用。
• 解决方案：引入一个辅助损失函数 (auxiliary loss)，惩罚不均衡的路由决策，鼓励每个专家处理大致相同数量的词元。

代表性工作：

• Switch Transformer：展示了 MoE 可以用于训练万亿参数级别的模型。
• Mixtral 8x7B：一个开源的、性能强大的 MoE 模型。它有 8 个专家，每次路由选择 2 个。虽然总参数量为 46.7B，但每次前向传播只激活约 12.9B 参数，计算成本与一个 13B 的密集模型相当。

2.4.2 MoE Conversion：从 Dense 模型高效构建 MoE 模型

从零开始训练一个大型 MoE（Mixture of Experts）模型需要巨大的计算资源。MoE Conversion 的核心思想是利用已经预训练好的高质量密集模型，通过转换方法将其改造为 MoE 架构，从而以较低成本获得 MoE 的优势。

MoE Conversion 主要有以下几种技术路线：

• 专家拆分（Splitting Experts）
• 专家复制（Copying Experts）
• 模型融合路由（Sparse Model Routing）

2.5 混合架构：集各家之所长

既然每种架构都有其优缺点，一个自然的想法就是将它们结合起来，形成混合架构（Hybrid Architectures）。这是当前一个非常活跃和实用的研究方向。

2.5.1 层间混合 (Inter-layer Hybrid)

在模型的不同层之间交替使用不同类型的模块。

代表性工作：Jamba

• 架构：Jamba 将 Mamba 层和标准的注意力层以一定的比例（如 7:1）交错堆叠。此外，它还在 FFN 层使用了 MoE。
• 动机：Mamba 层负责高效地处理长程依赖，而少数的注意力层则充当「信息瓶颈」或「精炼器」，以高精度处理全局信息。MoE 则进一步扩大了模型容量。这种设计在长上下文处理能力和标准任务性能之间取得了出色的平衡。

2.5.2 层内混合 (Intra-layer Hybrid)

在同一个注意力层内部混合不同的计算方式。

代表性工作：Hymba

• 架构：在一个注意力层中，一部分头使用 Mamba 进行计算，另一部分头使用标准的 Softmax 注意力。
• 动机：这种头级别 (head-wise) 的划分允许模型在同一层内同时拥有线性的全局感受野和二次方的局部/精确感受野，提供了更细粒度的控制。

2.6 扩散语言模型：非自回归的生成范式

前面讨论的所有架构都基于自回归（Autoregressive, AR）生成范式，即逐个词元地生成文本。扩散模型提供了一种全新的非自回归视角。

文本生成被建模为一个去噪过程。

1. 前向过程（加噪）：从一个干净的文本序列开始，逐步对其进行破坏（例如，随机遮盖掉一些词元），直到它变成一个完全被遮盖的序列。
2. 反向过程（去噪）：训练一个模型，学习如何从一个被破坏的序列中，一次性地预测出所有被遮盖的原始词元。

主要优势：

• 并行解码：在推理时，可以并行地对多个词元进行去噪和修正，从而在理论上大大减少生成所需的网络前向传播次数，降低延迟。
• 高可控性：由于生成是在一个固定长度的「画布」上进行的，扩散模型更容易控制输出的长度、格式和结构。

代表性工作：

• LLaDA：一个从头开始训练的 8B 参数扩散语言模型，展示了扩散模型具备与同等规模 AR 模型相竞争的潜力，并能克服 AR 模型的一些固有缺陷（如「反转诅咒」，即事实被「反转」时，模型无法正确理解或回答）。

3. 跨越模态应用

虽然高效架构最初是为了解决语言模型的效率问题而提出，但其底层思想具有高度通用性，正在迅速迁移到计算机视觉和音频等需要处理大规模、高维度序列数据的领域。在这些领域，序列长度的挑战甚至比文本更为严峻——如高分辨率图片、高清视频或长音频都可视为极长的词元序列。

3.1 视觉领域

视觉 Transformer（ViT）将图像分割为一系列图块（patches），并以序列形式输入 Transformer 处理。虽然强大，但也继承了 Transformer 的复杂度瓶颈，限制了高分辨率图像的处理能力。高效架构的引入正在带来突破：

状态空间模型（SSM）在视觉中的应用

• 核心挑战：SSM（如 Mamba）本质是一维序列模型，而图像是二维数据。如何有效地将二维空间信息展平为一维序列，并让模型理解空间邻接关系，是关键。
• 解决方案与应用：

稀疏专家混合（MoE）在视觉中的应用

• V-MoE：将 MoE 思想应用于 ViT，通过在 FFN 层使用专家路由，将视觉模型扩展到数十亿参数，同时保持计算成本可控。
• 工作原理：门控网络为每个图像块选择最相关的专家（FFN），使模型能学习到高度特化的视觉特征检测器，如纹理、轮廓或特定物体。

3.2 音频领域：处理长时依赖

音频信号本质上是时间序列，且通常非常长。传统 RNN 或带滑动窗口的 Transformer 处理音频存在局限，线性时间序列模型为此提供了理想解决方案：

状态空间模型（SSM）在音频中的应用

• 原始音频生成：如 S4 变体 SaShiMi，能直接建模采样点级长程依赖，生成高质量、连贯性强的音频，速度远快于自回归 Transformer。
• 音频理解与分类：如 Audio Mamba 等，使用 Mamba 作为骨干网络进行音频分类、事件检测等任务，性能可达甚至超越 Transformer，同时计算效率更高。
• 语音处理：在语音分离、增强等任务中，用 Mamba 替换传统 RNN 或 Transformer 模块，显著降低计算复杂度并刷新性能记录。

线性 RNN（RWKV）在音频中的应用

• 由于其循环结构，RWKV 非常适合流式音频处理，如实时语音识别（ASR），可在低延迟和低内存占用下达到与传统 Chunk-based Transformer 相媲美的性能。

3.3 多模态领域：高效对齐与融合

在同时处理文本、图像、视频、音频等多模态时，序列长度和计算复杂度挑战倍增。高效架构在多模态学习中至关重要，是实现不同模态信息高效对齐与融合的基础：

• 线性模型用于跨模态融合：如 Mamba 和 RWKV 被用作强大的融合模块，在视听语音识别、情感分析等任务中，高效建模视觉与音频特征的时间和语义关联。
• MoE 用于构建统一的多模态模型：如 LIMoE、Uni-MoE 等，利用 MoE 构建能处理多种模态的统一大模型。不同专家可学习处理特定模态或跨模态任务，门控网络根据输入类型动态激活相应模块，实现高效扩展多模态能力。

4. 总结

几个关键趋势和见解：

1. 线性模型的趋同与融合：线性注意力、线性 RNN 和 SSM 这三个看似不同的技术路线，正在向一个统一的、基于「动态状态演化」的框架收敛。
2. 混合架构的实用主义：纯粹的线性模型在某些需要精确回忆的任务上仍可能不及标准注意力。混合架构，如 Jamba，通过务实地结合新旧两种范式的优点，在当前阶段提供了一个在性能、效率和兼容性上都极具竞争力的解决方案。
3. 硬件协同设计的重要性：FlashAttention 的成功证明，算法的效率不能脱离硬件的现实。未来的架构设计必须更加关注「算法 - 系统 - 硬件」的协同优化。
4. 效率探索从语言到多模态的延伸：本文综述的许多高效架构，尤其是线性序列模型，正在被迅速应用于视觉、音频等领域。因为处理高分辨率图像、长视频或长音频时，序列长度的挑战甚至比文本领域更为严峻。

分类法：