分段¶
按目标长度切分文档,生成适合后续提取或检索的文本块。
需要按标题组织切分时,使用按层级切分文档。本节点主要控制可切分文本的长度和相邻块的重叠。
配置分段¶
绑定上游非空 documents,并配置下列选项。
配置 |
说明 |
|---|---|
分块大小 |
配置默认值为 800,表示可切分文本块的目标长度 |
重叠长度 |
配置默认值为 100,表示相邻文本块重复保留的字符数 |
将分块大小设为正数,并使重叠长度大于等于 0、小于分块大小。长度按文本字符处理,不是模型 Token 数。
保留文档结构¶
表格和代码块会保留完整结构,包含代码块的 Markdown 记录也可能超过目标长度。图片和音视频片段按各自的结构处理。
下游有输入长度限制时,请检查长表格和代码块的实际长度。
使用输出¶
输出 documents 包含切分后的文档记录,并保留来源元数据和块位置。可直接连接文本嵌入、信息提取或知识库写入节点。
示例:切分产品手册¶
流程示意:文档解析 → 分段 → 嵌入并添加到知识库。
设置分块大小 800、重叠长度 100。检查跨块句子是否保留必要上下文,并单独检查长表格和代码块。
继续阅读¶
最后更新于