血缘登记

登记原始文件、解析产物和可选索引之间的来源关系,使处理结果能够追溯到源文件。

本节点登记已经存在的文件和索引,不负责执行解析、生成向量或复制数据。

准备来源关系

将上游节点返回的文件和索引信息绑定到以下输入。

输入

说明

来源文件 source_file_ids

原始 Catalog 文件 ID;单来源也可使用 source_file_id

解析产物 parsed_file_id

已生成的解析文件,例如文档 JSONL 或视觉清单

按来源的解析产物 parsed_file_ids_by_source

多来源分别产生解析文件时,提供一对一映射,与 parsed_file_id 二选一

派生图片 derived_file_ids_by_source

每个原文件对应的派生图片,防止把图片关联到错误来源

已索引图片 indexed_image_file_ids

需要由派生关系覆盖的实际索引图片集合

解析产物 ID 必须区别于原始文件 ID。分别生成解析文件时,为每个来源提供对应的解析产物。多个来源确实共享同一个解析产物时,可使用单个 parsed_file_id

登记可选索引和结果

登记文本向量表时,同时提供匹配的嵌入模型。图片索引还需要对应模型、维度和预处理等信息,应继承图片嵌入节点使用的配置。

可选输出文件用于登记进一步派生的结果。仅登记已经生成的文件和索引。

使用输出

source_asset_ids 是来源资产集合,source_asset_id 表示首个来源。parsed_asset_idvector_asset_idimage_vector_asset_idoutput_asset_id 分别用于已登记的相应产物;可选产物仅在配置并完成登记后返回相应资产标识。

示例:登记解析与图片索引关系

流程示意:构建文档视觉清单 → 图片嵌入 → 血缘登记。

保留视觉清单输出的逐来源派生映射,并传入实际索引使用的图片集合。多来源场景逐一核对原文件与清单,避免全部指向同一来源。

继续阅读

最后更新于