OpenAI 无需向量化的RAG新范例：探索大模型时代的高效知识问答与模型选择之道

1. OpenAI 无需向量化的 RAG 新范例：探索大模型时代的高效知识问答与模型选择之道

**在当今数字化的浪潮中，各类智能客服系统已成为我们日常生活中不可或缺的一部分。**这些系统旨在帮助用户从海量文档中迅速找到所需信息并提供答案。

在大多数情况下，检索增强生成（RAG）技术是实现这类系统的首选方案。传统 RAG 通常涉及复杂的向量化过程，然而，OpenAI 最近分享了一个令人耳目一新的问答系统开发案例，它同样基于 RAG，却完全无需向量化。

这究竟是如何做到的？本文将深入探讨这一创新范例，并进一步引申至通用的大模型选择策略，助您在实践中构建更高效、更智能的 AI 系统。

1.1. RAG 的核心理念与 OpenAI 的创新突破

简单来说，RAG 技术旨在解决大语言模型（LLM）在面对特定领域知识时的「失忆」问题或长文本处理的成本问题。

想象一下，您想构建一个产品智能客服，但大模型本身并不知道您公司的产品信息。如果直接将冗长的产品手册（可能长达 1000 页）全部喂给模型，不仅成本高昂，模型还可能「读了后面忘了前面」。RAG 的出现正是为了解决这一痛点：它能从浩如烟海的文档中，精准地提取与用户问题最相关的内容（例如，1000 页手册中可能只有三段话相关），然后将这部分精炼过的信息与用户问题一并发送给大模型，使其能够基于相关信息给出准确回答。

这种「先抽取相关内容，再根据这些内容回答用户问题」的方式，就是 RAG 的精髓。

传统 RAG 多采用向量化技术进行内容匹配，即将文本转换为数字列表（向量），通过向量相似度来查找相关内容。但 OpenAI 的新方案则另辟蹊径，其核心在于模拟人类阅读和思考的模式，实现了零向量化的 Agentic RAG。

1.2. OpenAI 无向量化 RAG 的五大核心环节：以法律知识问答为例

OpenAI 的这一范例是一个法律知识问答系统，它在回答用户问题时，主要遵循以下五个核心步骤：

1.2.1. 文件加载（Document Loading）

系统首先会读取一份长达 1000 多页的 PDF 格式法律文件（例如《商标审判和上诉委员会程序手册，TBMP》）。它会从中提取文本内容，供后续使用。值得注意的是，虽然原始文件有 1194 页，包含约 93 万个 Token，但考虑到 GPT-4.1-mini 模型上下文窗口大小为 100 万个 Token，为了避免超出限制导致模型遗忘前面内容，该系统会策略性地只读取前 920 页内容，这部分内容刚好在模型上下文窗口可接受范围内。

1.2.2. 内容切割与挑选（层次化导航）

这是整个流程中最具创新性的环节，模拟了人类「从粗到细」的阅读方式：

  • 多轮迭代：系统会重复多次「内容切割」和「内容挑选」操作（例如，共进行三轮）。
  • 初始粗切：首先将整个法律内容切分为 20 个大块。
  • 模型路由：将这些大块和用户问题一同发给 GPT-4.1-mini 模型。该模型基于其强大的自然语言理解能力，识别出哪些大块可能包含相关信息。选择 GPT-4.1-mini 的原因在于其巨大的上下文窗口（100 万 Token）和较低的成本，非常适合处理大量文本的初步筛选。
  • 逐层钻取：在后续轮次中，模型会对上一轮挑选出的相关内容再次进行细致切割（例如，每个选定块再切分 3 份），然后再次让模型挑选，如此往复，直到找到与用户问题最相关的段落级别内容。这种迭代方式比一次性将文档切成数百份并让模型挑选的效果更好，因为切得太细碎反而可能让模型感到混乱。
  • 思考板（Scratchpad）：在内容挑选过程中，系统会要求模型在选择前必须进行思考，并将思考过程存储在 Scratchpad 中。这个思考板的内容会带到下一轮，不仅提高了挑选的准确率，还使得模型的决策过程可追溯和可调试，极大地增强了系统的透明度。

1.2.3. 生成答案（Answer Generation）

一旦确定了与用户问题最相关的几个段落，系统会将其与用户问题一起打包，发送给 GPT-4.1 大模型来生成初步答案。之所以选用 GPT-4.1，是因为在这个环节中，答案的准确性至关重要。相比之下，GPT-4.1-mini 模型「胡说八道」的概率会大很多。此外，由于此时输入模型的文本量已经大大减少，成本控制的需求也不再像内容挑选阶段那样强烈。

  • 强制引用：为了确保答案的可验证性和溯源性，系统采用了一个巧妙的「字面量列表（List of Literals）」技巧，强制模型只能引用提供的特定段落 ID。这意味着模型不会凭空捏造引用或随机高亮文本，而是必须将其回答中的每句话都与精确的源材料（如「0.0.5.0」等）关联起来。这对于法律问答这类对准确性和可追溯性要求极高的场景至关重要。

1.2.4. 答案验证（Answer Verification）

答案生成后，系统并不会立即将其返回给用户，而是会进行答案验证：

  • LLM-as-Judge：系统会将模型的初步回答、用户问题以及引用的段落内容，一同发送给 O4（或 o4-mini）模型进行验证。O4 模型推理能力极强，非常适合判断答案是否基于引用内容回答、是否存在「胡说八道」的情况。
  • 信心评估：验证结果不仅包含通过与否，还会给出模型对答案准确性的信心值（如「高」「中」「低」），这提供了额外的质量保障。

1.2.5. 最终输出

经过验证的高置信度答案会被返回给用户，低置信度的答案会触发人工审查流程。

1.3. 无向量化 RAG 的优劣与成本考量

这种创新的 RAG 方案带来了显著的优势，但也伴随一些权衡：

1.3.1. 优势（Benefits）

  • 零摄入延迟：新文档可以立即用于问答，无需任何预处理或维护向量数据库。
  • 动态导航：通过模仿人类阅读模式，能更灵活地处理复杂文档，理论上准确率更高。
  • 跨章节推理：模型能够发现文档不同部分之间的关联，避免传统 RAG 因分块过小而可能错失的联系，提高了答案的准确性。
  • 无需额外基础设施：整个系统只需通过 API 调用即可构建，无需向量数据库等额外基础设施维护。

1.3.2. 劣势（Tradeoffs）

  • 单次查询成本较高：每次查询需要更多计算，导致成本比基于嵌入的传统 RAG 高。例如，一次查询的成本约为 0.36 美元。
  • 查询时间更长：层次化导航过程比简单的向量查找需要更长的处理时间，增加了延迟。
  • 可扩展性有限：对于极其庞大的文档集合，传统预处理（如向量化）可能仍然更高效。

尽管如此，对于那些对即时性、答案精确性、可溯源性和无需维护复杂基础设施有高要求的场景（如法律、医疗合规、金融法规或技术文档），这种 Agentic RAG 方法无疑是一个强大的解决方案。

1.4. 通用模型选择智慧：构建多模态、多代理系统

OpenAI 的实践案例不仅展示了创新的 RAG，也蕴含着通用的大模型选择和组合智慧。OpenAI 的模型大致可分为两大家族：

  • GPT 模型（如 GPT-4.1, GPT-4o）：通常针对通用任务进行优化，擅长指令遵循和长上下文处理。
  • o 系列模型（如 o3, o4-mini）：专为深度推理和多步问题解决而设计，擅长复杂、多阶段任务和工具使用。

OpenAI 模型家族对比

图：OpenAI 模型家族对比 - 不同模型在能力和成本上的权衡

核心洞察在于：使用更快速、更廉价的模型进行广度和初步筛选，然后将任务升级到更强大、更精确的模型进行深度分析、批判性审查和最终生成。这种分层方法能在保持创意和速度的同时，兼顾严谨性和准确性，并有效管理计算成本。

模型分层应用策略

图：模型分层应用策略 - 低成本模型初步筛选与高精度模型深度分析的结合

除了 Agentic RAG，以下两个 OpenAI 的实际案例也印证了这一模型选择策略：

1.4.1. AI 辅助制药研发（AI Co-Scientist for Pharma R&D）

该系统模拟了一个高效的科研团队：

  • 构思阶段：使用多个 o4-mini 实例（扮演「假设代理」、「方案代理」等不同角色）并行生成实验方案，充分发挥其速度和成本优势，同时利用外部工具调用（如化学数据库、成本估算器）将方案与真实数据结合。
  • 排名阶段：o4-mini 或 o3 对生成的方案进行配对比较，而非孤立评分，以获得更可靠的相对排名。
  • 深度批判与合成：将排名前列的方案交给 o3 进行严格审查，o3 扮演「资深科学家」，评估科学有效性、方法论、安全性和预算合规性。将构思与批判分离，并使用不同的模型，能有效避免模型自我辩护，提高客观性。
  • 安全检查（可选）：GPT-4.1-mini 可进行最后的特定安全风险检查。
  • 人类审查与学习：最终方案由人类科学家审查批准，实验结果反馈给 o3 结合 Code Interpreter 进行分析，形成学习闭环。

AI 辅助制药研发流程

图：AI 辅助制药研发流程 - 多模型协作的科研团队模拟

1.4.2. 保险理赔表单处理（Insurance Claim Processing）

该方案旨在数字化和验证手填保险表单：

保险理赔表单处理流程

图：保险理赔表单处理流程 - OCR 与推理验证的两阶段处理

  • 第一阶段（OCR）：利用 GPT-4.1 强大的视觉（Vision）和 OCR 能力，以最高准确率从图像中提取文本，并将不确定性（如模糊的字符、缺失的字段）传递给下一阶段。
  • 第二阶段（推理与验证）：利用 o4-mini 的推理能力来验证 OCR 结果的准确性，并使用 Function Calling 来解决不确定性，例如通过 validate_email 工具验证邮件地址，或通过 search_web 工具推断缺失的邮编和县名。o4-mini 在这里提供了经济高效的推理能力。
  • 结构化输出：整个过程使用 Pydantic 模型定义数据结构，确保输出格式的一致性和易用性。
  • 思维链（Chain-of-Thought）：模型在处理过程中会产生思维链总结，这有助于理解模型的推理过程，并在开发中发现潜在的架构问题。

这些案例共同展示了结构化输出、工具集成、思考板/思维链、角色扮演、LLM 作为评判者等关键技术在复杂多步 AI 系统中的应用。

1.5. 从原型到生产的考量

从原型到生产的关键考量

图：从原型到生产的关键考量 - 确保 AI 系统可靠部署的核心要素

将 AI 系统从原型阶段过渡到生产环境，需要细致的规划和执行。以下是需要重点关注的领域：

  • 定义成功标准：明确可衡量的 KPIs 和 SLOs（如 RAG 准确率、OCR 成本、P95 延迟）。
  • 文档化模型选择理由：记录选择特定模型的理由，包括成本、延迟和能力权衡，以便于未来的更新和团队协作。
  • 稳健的评估与测试：建立自动化测试套件和「黄金数据集」，持续评估模型的事实准确性、幻觉率、工具错误率，并进行边缘案例测试。
  • 可观测性与成本控制：实施全面的日志记录，跟踪 Token 使用量、模型延迟和查询成本，并设置成本控制措施（如最大 Token 限制、不同运行模式）。
  • 安全性与合规性：利用 OpenAI 的审核 API、安全系统提示，强制人类介入（HITL）审查低置信度或高风险的输出，并确保符合行业特定法规。
  • 模型更新与版本管理：制定版本锁定策略、A/B 测试框架和明确的回滚程序，以应对模型随时间演进带来的变化。
  • 与非技术利益相关者沟通：将技术指标转化为业务影响，突出模型选择的权衡，并用具体示例说明价值。

1.6. 结语

OpenAI 的这些范例，特别是其无需向量化的 Agentic RAG，充分展现了大上下文窗口的强大潜力。它不仅开启了高效知识问答的新篇章，更重要的是，为我们理解和构建复杂的 AI 系统提供了宝贵的实践指南。

通过战略性地选择和组合不同的模型，并深度集成外部工具，我们可以模拟人类复杂的认知过程，构建出更加强大、可靠、可控且成本效益高的下一代人工智能应用。

OpenAI 原文地址：https://cookbook.openai.com/examples/partners/model_selection_guide/model_selection_guide