Catalog 文件分片清单

枚举 Catalog 文件，将文件列表保存为按分片组织的 JSONL 清单，供后续分片处理复用。

适用于大量文件需要拆分到多个处理任务的场景。本节点生成文件清单，不解析文件正文。

配置来源与分片

配置

说明

数据源

选择待枚举的 Catalog 来源，或绑定一组文件引用

目标位置

可选，指定生成清单的 Catalog 卷或目录

输出文件前缀

必填非空，区分本次生成的清单

分片总数

必须为正整数，决定生成的清单分片数

分页大小

从卷分页枚举时设置每次请求的条目数

选择一组来源，并将分片总数设为正整数。

使用输出

manifest_file_ids 按 shard_index 顺序列出清单文件 ID；manifest_files 包含各分片描述。count 是枚举到的文件记录总数，shard_total 是分片总数。

清单记录保存文件 ID、路径和序号等信息。后续节点读取清单中的文件 ID，再处理对应的原始文件。

生成清单后，将各分片交给对应的处理流程。

示例：准备邮件归档分片

流程示意：Catalog 文件分片清单 → 分片邮件归档解析。

选择邮件归档来源，设置正数分片总数与唯一输出前缀，将各清单交给对应分片的邮件处理流程。

继续阅读

最后更新于