大一统！蚂蚁首篇全模态 Embedding 综述
1. 大一统！蚂蚁首篇全模态 Embedding 综述
[!abstract] 速览
本文系统梳理全模态 Embedding 的演进脉络，提出从转换、对齐到联合嵌入的三级方法路径，并构建覆盖、可比、组合三维评估框架，指出统一骨架与跨域授粉是实现全模态表示的关键。全文分五部分：先阐释 Embedding 的本质与跨模态碎片化问题，再拆解统一框架的五大关键决策，随后给出三条通往全模态的路径，用 3C 标尺衡量组合能力，最后落到统一尺度与跨社区授粉。
1.1. 摘要
Embedding 模型是搜索、推荐和检索增强生成的基石，但当前仍处于各模态孤岛。文章聚焦蚂蚁、上交大、同济等联合发布的综述，首次从全局视角梳理全模态 Embedding 的演进。全文分为五部分：一、阐释 Embedding 的本质及其跨模态碎片化问题；二、拆解统一框架的五大关键决策——数据切分、编码器、聚合、目标与评测；三、提出三条通往全模态的路径：转换、对齐、联合嵌入；四、提出 3C 标尺（覆盖、可比、组合）衡量组合能力；五、呼吁建立统一尺度与跨社区授粉，给出可检验的共同语言。文章基于 1352 篇论文的统计，指出跨模态工作仅占 5%，并提供 GitHub 资源库与 arXiv 论文链接。
1.2. 主要内容
- 全模态 Embedding 仍处于孤岛，缺乏统一框架
文本、视觉、音频、图、表格、时间序列各自拥有独立社区与方法，跨越模态的工作占比不足 5%，导致重复发明与资源浪费。 - 统一框架的五大关键决策决定 Embedding 的能力边界
包括数据如何切分、编码器如何处理、结果如何聚合、目标如何塑造空间、评测如何定义好坏，这些决定了模型能否生成可比、可组合的向量表示。 - 从转换到对齐再到联合嵌入构成三级方法路径
转换阶段快速覆盖所有模态但可能丢失结构；对齐阶段通过对比学习实现跨模态检索；联合嵌入阶段利用共享注意力实现多模态深度交互，真正提升语义能力。 - 3C 标尺（覆盖、可比、组合）是衡量全模态能力的核心标准
覆盖指实际编码的输入范围，可比指跨模态检索的可行性，组合指多个输入共同构成查询时，输出是否真正依赖每一个输入，组合收益是判定是否具备新语义能力的关键。 - 统一骨架需保留模态特性，才能实现跨域授粉、形成可检验的共同语言
正确方向不是让所有模态完全相同，而是保持专用切分与处理能力，在共享骨架上进行跨模态方法的迁移与复用，最终形成可检验的表示语言。
大家好，我是 PaperAgent，不是 Agent！
Embedding 模型是搜索引擎、推荐系统和 RAG 的幕后基石。生成式 AI 中，GPT-4o、Gemini 等已实现文本、音频、图像、视频的统一输入输出，但表征学习仍处于各模态各自为政的孤岛状态。 RSI 持续爆发，人大 & 美团连发 2 篇 Agent 进化新突破
对此，蚂蚁、上交大、同济等机构联合发布了一篇重磅综述与立场论文。它成为业内首篇跨越所有主流模态（文本、代码、图像、视频、音频、图、表格、时间序列）、以全局视角系统性梳理全模态 Embedding 演进脉络、统一框架与未来路线图的综述报告。
Text Embedding 进化历史
Graph Embedding 进化历史
1.3. 大一统，先统一问题
Embedding 的本质，是把复杂数据映射成向量，让语义关系变成可计算的距离。搜索、推荐、检索增强生成，都建立在这层表示基础设施之上。
Figure 1｜从模态专属基础、共同原则到联合嵌入的研究全景。
问题在于，文本、视觉、音频、图、表格和时间序列长期各有社区、方法与榜单。论文对 1352 篇正式发表论文及十年预印本的统计显示，明确跨越模态边界的工作占比不足 5%，同一种思路常常在不同领域被重复发明。
Code Embedding 进化
分裂之下，趋同已经发生：对比学习成为共同目标，Transformer 成为通用编码器，预训练后微调成为共同流程，表示粒度则从词元、像素等局部单元上移到完整语义单元。
所以，统一不是抹平模态差异，而是先找到可以复用的共同骨架。
Table Embedding 进化
1.4. 同一个骨架，五种关键决策
论文首先拆解 Embedding 模型：数据如何切分，编码器如何处理，结果如何聚合，目标如何塑造空间，评测如何定义好坏。输入端与输出端又被明确区分，避免把数据单位与最终表示对象混为一谈。
Figure 2｜数据单元、切分器、编码器、聚合、表示对象，以及目标和评测之间的关系。
同一个编码器，可以输出一个全局向量，也可以输出局部向量序列或离散编码。前者便于索引，后者保留位置与对应关系。真正决定 Embedding 能做什么的，不只是骨干网络，还有接口最终保留了哪些信息。
这也解释了为什么统一不能只看参数量。共享编码器不等于向量已经可比，跨模态可比也不要求共享编码器。架构复用、目标复用、坐标对齐和参数共享，是四件不同的事。
1.5. 三条路径，不是三种并列选项
有了共同骨架，论文把通向全模态的方法整理成交互不断加深的三级台阶。
Figure 5｜转换、对齐、联合融合，以及作为参数复用基线的共享骨干。
| 阶段 | 做法 | 得到什么 | 局限 |
|---|---|---|---|
| 第一步：转换 | 把图渲染成图片、把表格序列化成文本、把连续信号离散成词元，直接借用成熟编码器 | 迅速扩大输入覆盖 | 可能丢掉图的拓扑、表格的行列结构和时间序列的幅度 |
| 第二步：对齐 | 各模态保留独立编码器，再用对比学习让向量可以互相检索；CLIP、CLAP、ImageBind 都属于这条成熟路线 | 跨模态检索 | 输入没有在模型内部共同计算，模态间隙仍可能存在 |
| 第三步：联合嵌入 | 不同模态在池化前通过共享注意力或交叉注意力交互 | 多个输入共同表达的语义，而非两个向量的接近程度 | 计算开销、模态竞争与单模态性能退化，构成工程边界 |
[!note] 双塔对齐是交互为零的特例
论文进一步指出，双塔对齐可以看作跨模态交互为零的联合模型。 因此，联合不是废除对齐，而是把它纳入更一般的框架：需要独立建索引时分别编码，需要理解组合关系时深度交互。
1.6. 真正的分水岭是组合性
为了遏制宽泛的全模态宣传，论文提出 3C 标尺，并要求三项能力分别举证。
Table 9｜覆盖、可比、组合三类能力，以及不足以证明能力的常见捷径。
| 维度 | 衡量内容 |
|---|---|
| 覆盖（Coverage） | 系统实际编码并测试了哪些输入 |
| 可比（Comparability） | 分别编码的输入能否按任务互相匹配，例如用文字检索音频 |
| 组合（Compositionality） | 多个输入共同形成查询时，输出是否真正依赖每一个输入 |
[!warning] 拼接不等于融合
共享骨干只证明参数复用，向量同维只说明形状一致，拼接输入也不等于完成融合。以图片加修改指令为例，模型必须理解两者的组合，而不是只靠图片或文字走捷径。
论文因此把组合收益设为关键判据：联合表示应超过最强单模态输入，也应超过分数融合和向量相加。否则，联合架构未必带来新的语义能力。
这也是作者将联合嵌入视为终点的原因；同时，他们把计算开销、模态竞争和单模态性能退化列为工程边界。正确方向不是让所有模态变得一样，而是保留专用切分与处理能力，再为组合而融合。
1.7. 下一步，需要共同尺度与交叉授粉
路线图的后半段落在这样一个现实问题上：没有统一测量，就无法判断统一是否发生。
Figure 7｜覆盖、可比、组合之后，还要接受部署层面的鲁棒性、成本与安全检验。
现有榜单大多能证明覆盖和两两可比，组合性仍是证据最薄弱的一环。论文主张用统一冻结编码器、弱任务头的协议，把单模态、跨模态和多输入任务放在一起，并单独报告组合收益。
与此同时，各社区不必重复造轮子。文本的指令调优可以迁移到音频和时间序列，时间序列的连续时间建模可以反哺视频与动态图。
[!tip] 建设路径
统一骨架保留模态特性，成熟方法跨领域复用，才是这篇综述给出的建设路径。
它画出的不是一个已经完成的全模态模型，而是一套可检验的共同语言：接收什么、比较什么、如何组合。三层问题被逐一回答，Embedding 才能从输入齐全走向语义真正统一。
1.8. 参考链接
https://arxiv.org/abs/2611.00172
https://github.com/codefuse-ai/Awesome-Omnimodal-Embeddings
From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings