RAG_系统文本切分Chunk有哪些方法

1. 固定大小切分(Fixed-size chunking)

固定大小切分示意图

固定大小切分代码示例

2. 语义切分(Semantic chunking)

语义切分示意图

3. 基于文档结构的切片(Document structure-based chunking)

**文档结构化分块(Document Structure-Based Chunking)**是一种利用文档自身结构进行内容切分的策略。

其核心思想是根据文档的自然组织形式(如标题、段落、章节、函数等)进行分块,以保留语义完整性和上下文连贯性,从而提升检索和生成的效果。

文档结构切分示意图

文档结构切分代码示例 1

文档结构切分代码示例 2

文档结构切分代码示例 3

4. 递归切分(Recursive Splitting)

实际上递归切分(Recursive Splitting)也是固定大小文本切块的一种,只不过它会按分隔符层级递归地把大块文本切分成更小的块。

递归切分示意图 1

递归切分示意图 2

递归切分代码示例 1

递归切分代码示例 2

递归切分示意图 3

递归切分示意图 4

递归切分代码示例 3

递归切分代码示例 4

递归切分示意图 5

递归切分代码示例 5

递归切分代码示例 6