载入任务

载入任务是数据载入创建后持续运行的后台作业。它记录数据源、目标 Catalog 位置、同步策略、运行资源与执行历史。通过载入任务,可以查看进度、调整可编辑设置、回补历史数据,以及暂停、恢复或停止同步。

列表与筛选

进入 数据连接 > 载入任务 查看载入任务列表。点击载入数据可创建任务。列表一般支持搜索、筛选、排序与分页。

说明

任务名称

标识任务及其用途

数据源

源连接器、本地上传、网页采集或其他来源

载入类型

结构化或非结构化

载入模式

一次性、周期性或实时

目标

Catalog 中的目录、数据库、表或卷

状态

当前调度或执行状态

创建时间

可按时间排序

操作

详情、编辑、删除及任务运行控制

可按任务名称、数据源或目标搜索。筛选可组合载入类型、模式与状态。若编辑任务后返回列表时界面保留了原搜索与筛选条件,请在该上下文中继续核对结果。

状态与详情

状态

含义

建议

等待中

已创建,等待调度或触发

检查调度、资源与依赖

载入中

正在读取、处理或写入数据

查看运行时长、进度与源系统负载

回补中

正在补齐历史数据

查看进度百分比、批次与执行窗口

已暂停

手动暂停,进度与水位线保留

确认原因后恢复或调整设置

载入失败

当前执行出错

打开详情查看错误,并按来源排查

点击详情可查看任务配置与运行信息,常见包括:

  • 基本信息:连接器、数据类型、载入模式、目标、调度、创建时间、最近运行与累计统计。

  • 同步策略:增量字段、回看窗口,或全量覆盖方式。

  • 数据回补:开始时间、进度、批次与执行窗口。

  • 连接详情:任务实际引用的连接器及其源类型。

  • 目标数据:结构化任务的表结构;非结构化任务的近期文件、大小、修改时间与处理状态。

  • 错误信息:失败原因与排查线索。

可编辑范围

在列表或详情中点击编辑,打开复用的载入配置页。任务创建后,影响数据结构与身份的选项会被锁定,避免已有任务变成另一种类型的任务。

通常可编辑

通常锁定

载入模式与频率

数据类型(结构化 / 非结构化)

同步策略、增量字段与回看窗口

载入方式(连接器 / 本地上传 / 网页采集)

回补参数与预处理脚本

连接器、源库表或源对象

解压、去重与范围筛选

目标 Catalog 位置及已有表 / 新建表模式

计算资源与运行优先级

更改增量字段会重置水位线,下次载入可能重读历史区间。保存前请确认新字段的值稳定且可排序,并且源端允许重读相应数据。

调度与运行控制

操作

行为

暂停

挂起任务,保留水位线与已完成的回补进度

恢复

从暂停位置继续;回补任务一般从上一完成批次恢复

停止

中止当前执行;是否再次调度取决于当前任务配置

删除

删除任务及其调度;请先确认没有下游流程仍依赖该数据的更新

一次性载入任务只写入一次;周期任务按配置间隔运行;实时任务持续或近实时读取源端变更。任务运行期间若要降低源端压力,可降低优先级、缩小范围、加大间隔,或在低峰窗口执行回补。

数据回补

实时或增量同步一般从当前水位线之后开始。数据回补用于补齐更早的历史数据:系统从指定起点分批读取,追赶到当前数据后自动回到正常同步。

设置

用途

回补开始时间

从最早可用数据,或从业务需要的历史时点开始

批次大小

每次读取的时间跨度;源端压力大时用较小批次

批次间隔

相邻批次之间的等待,避免持续占用生产系统

执行窗口

限制在夜间等低峰时段执行,减轻对业务的影响

回补可在创建任务时配置,也可从详情中触发。暂停或失败后,先检查源数据、网络与增量字段,再从保留的进度恢复。全量覆盖策略每次运行都会重读整表,一般不需要单独回补。

失败排查

  1. 在任务详情中查看错误、最近运行时间与目标。

  2. 回到连接器执行连接测试,确认网络、凭证与源端授权未变更。

  3. 检查源对象是否仍存在:文件路径、库表、集合、主题、队列、端点或邮件范围是否已变。

  4. 核对目标 Catalog 表或卷的权限、表结构、主键冲突策略,以及可用计算资源。

  5. 对增量任务,检查水位线、增量字段与回看窗口;必要时重新设计回补范围。