数据连接

数据连接负责两件事:把外部系统中的数据接入工作区,以及把处理完成的结果交付回外部系统。以连接器保存连通与读写能力,再由载入、工作流或导出任务使用这些能力。

数据流

外部数据源
    → 连接器(地址、凭证、认证和读写能力)
    → 数据载入 ─────────────→ Catalog 表 / 卷
    │                              ↓
    │                    工作流加工、查询、知识库使用
    → 数据导出 ─────────────→ 外部对象存储、数据库或模型平台

能力

作用

适用场景

连接器

保存外部数据源的连接信息与读写能力

首次接入数据库、对象存储、API 或企业应用

数据载入

将外部数据物化到 Catalog 的表或卷

形成可复用、可治理的数据底座

载入任务

任务列表、调度、增量同步、回补与运行控制

管理长期或周期性载入

数据导出

把 Catalog 中文件或表写到外部

交付训练数据、备份或外部消费

使用前准备

  1. 确认工作区、Catalog 位置与外部数据源访问权限;凭证使用业务允许的最小权限账号。

  2. 准备地址、认证与网络连通条件。

  3. 明确目标:结构化记录进,文档 / 图片 / 音视频等进

  4. 长期任务提前确定同步频率、增量字段、计算资源与源端读取压力。

选型提示

  • 只要「连上并反复搬数」:先建连接器,再载入。

  • 本地小文件试用:载入支持本地上传时可不先建连接器(以界面为准)。

  • 结果要给外部系统:用导出 + 具备「导出」用途的连接器。

  • 连接字段全文不在本域重复:参考 · 连接器

文档目录