RAG_系统文本切分Chunk有哪些方法
1. 固定大小切分(Fixed-size chunking)
2. 语义切分(Semantic chunking)
3. 基于文档结构的切片(Document structure-based chunking)
**文档结构化分块(Document Structure-Based Chunking)**是一种利用文档自身结构进行内容切分的策略。
其核心思想是根据文档的自然组织形式(如标题、段落、章节、函数等)进行分块,以保留语义完整性和上下文连贯性,从而提升检索和生成的效果。
4. 递归切分(Recursive Splitting)
实际上递归切分(Recursive Splitting)也是固定大小文本切块的一种,只不过它会按分隔符层级递归地把大块文本切分成更小的块。