数据、文件与连接器 API

数据 API 包含两个关联层次:Catalog 保存受治理的 AI Studio 资产,连接器与传输任务 负责在外部系统和 Catalog 目标之间移动数据。连接校验成功只表示连接可用,并不代表 数据已经导入。

Catalog 层级

Catalog 资源按 Catalog → 数据库 → Volume / 表 → 文件夹 / 文件组织。许多 Catalog 读取接口也使用 POST,因为 ID、路径、分页或筛选条件放在 JSON 请求体中。

路径族

已覆盖操作

/newmoi/catalog

健康检查、树、列表、创建、详情、更新、引用列表与删除

/newmoi/catalog/database

列表、子对象、表叶子、创建、详情、更新、引用与删除

/newmoi/catalog/volume

创建、详情、更新、完整路径、工作流引用与删除

/newmoi/catalog/table

创建、详情、数据、预览、概览、载入、下载、清空、引用与删除

/newmoi/catalog/folder

创建、更新、清理、引用列表与删除

/newmoi/catalog/file

列表、创建、上传、详情、更新、预览、下载、触发工作流与删除

/newmoi/catalog/tag

列表、创建、更新与删除

删除、清空或清理对象前,先读取引用列表,并检查下游工作流、知识来源、导出任务与 Lineage。文件上传成功后,仍可能需要解析或运行工作流,才能成为可供下游使用的资产。

文件接口的返回类型随操作变化:/newmoi/catalog/file/preview_link 返回预览地址, 预览流和下载接口则可能返回数据流。/newmoi/catalog/data-assets/:id/newmoi/catalog/file-artifacts/:file_id 用于解析受治理资产和执行产物元数据。

连接器生命周期

方法与路径

用途

GET /newmoi/connectors/list

列出工作区连接器

POST /newmoi/connectors/get

读取单个连接器

POST /newmoi/connectors

创建连接器

PUT /newmoi/connectors/:id

更新连接器

DELETE /newmoi/connectors/:id

删除连接器

POST /newmoi/connectors/validate

只测试网络和凭据,不导入数据

可用数据源类型及其配置字段由部署环境决定。已注册的接口族包括本地文件、结构化来源 发现、数据库 / Schema / 表浏览、MatrixOne 目标浏览、字段映射以及文件预览、下载和 流式读取。不要把连接器密码写入日志,也不要在服务端集成中复用只能由浏览器使用的密钥。

连接测试应从部署环境的网络路径发起。从开发者电脑测试成功,不能证明 Worker 节点可以 解析 DNS、访问端口、完成 TLS 协商或通过白名单。

导入与导出任务

导入任务使用 /newmoi/task,覆盖创建、列表、详情、更新、文件、运行记录、暂停、 恢复、失败文件重试与删除。导出任务使用 /newmoi/export/task,覆盖创建、列表、 详情、文件、状态、重跑与删除。

可靠的传输流程如下:

  1. 创建并校验连接器。

  2. 浏览来源 Schema 或文件,并解析 Catalog 目标。

  3. 按部署契约的准确字段提交任务。

  4. 保存任务 ID,轮询详情、运行、文件或状态接口。

  5. 成功终止后核对目标对象及行数 / 文件数;失败时保留任务 ID、失败阶段与失败文件。

只有部分文件失败时,不要自动重跑整个导入;接口支持时应使用失败文件重试。重跑导出 前,检查目标端是否已有半成品,并遵循任务配置的覆盖策略。

可查询的表元数据与 SQL 执行见 SQL;产物依赖关系见 工作流与 Lineage

最后更新于