分段

按目标长度切分文档,生成适合后续提取或检索的文本块。

需要按标题组织切分时,使用按层级切分文档。本节点主要控制可切分文本的长度和相邻块的重叠。

配置分段

绑定上游非空 documents,并配置下列选项。

配置

说明

分块大小

配置默认值为 800,表示可切分文本块的目标长度

重叠长度

配置默认值为 100,表示相邻文本块重复保留的字符数

将分块大小设为正数,并使重叠长度大于等于 0、小于分块大小。长度按文本字符处理,不是模型 Token 数。

保留文档结构

表格和代码块会保留完整结构,包含代码块的 Markdown 记录也可能超过目标长度。图片和音视频片段按各自的结构处理。

下游有输入长度限制时,请检查长表格和代码块的实际长度。

使用输出

输出 documents 包含切分后的文档记录,并保留来源元数据和块位置。可直接连接文本嵌入、信息提取或知识库写入节点。

示例:切分产品手册

流程示意:文档解析 → 分段 → 嵌入并添加到知识库。

设置分块大小 800、重叠长度 100。检查跨块句子是否保留必要上下文,并单独检查长表格和代码块。

继续阅读

最后更新于