载入任务¶
载入任务是数据载入创建后持续运行的后台作业。它记录数据源、目标 Catalog 位置、同步策略、运行资源与执行历史。通过载入任务,可以查看进度、调整可编辑设置、回补历史数据,以及暂停、恢复或停止同步。
列表与筛选¶
进入 数据连接 > 载入任务 查看载入任务列表。点击载入数据可创建任务。列表一般支持搜索、筛选、排序与分页。
列 |
说明 |
|---|---|
任务名称 |
标识任务及其用途 |
数据源 |
源连接器、本地上传、网页采集或其他来源 |
载入类型 |
结构化或非结构化 |
载入模式 |
一次性、周期性或实时 |
目标 |
Catalog 中的目录、数据库、表或卷 |
状态 |
当前调度或执行状态 |
创建时间 |
可按时间排序 |
操作 |
详情、编辑、删除及任务运行控制 |
可按任务名称、数据源或目标搜索。筛选可组合载入类型、模式与状态。若编辑任务后返回列表时界面保留了原搜索与筛选条件,请在该上下文中继续核对结果。
状态与详情¶
状态 |
含义 |
建议 |
|---|---|---|
等待中 |
已创建,等待调度或触发 |
检查调度、资源与依赖 |
载入中 |
正在读取、处理或写入数据 |
查看运行时长、进度与源系统负载 |
回补中 |
正在补齐历史数据 |
查看进度百分比、批次与执行窗口 |
已暂停 |
手动暂停,进度与水位线保留 |
确认原因后恢复或调整设置 |
载入失败 |
当前执行出错 |
打开详情查看错误,并按来源排查 |
点击详情可查看任务配置与运行信息,常见包括:
基本信息:连接器、数据类型、载入模式、目标、调度、创建时间、最近运行与累计统计。
同步策略:增量字段、回看窗口,或全量覆盖方式。
数据回补:开始时间、进度、批次与执行窗口。
连接详情:任务实际引用的连接器及其源类型。
目标数据:结构化任务的表结构;非结构化任务的近期文件、大小、修改时间与处理状态。
错误信息:失败原因与排查线索。
可编辑范围¶
在列表或详情中点击编辑,打开复用的载入配置页。任务创建后,影响数据结构与身份的选项会被锁定,避免已有任务变成另一种类型的任务。
通常可编辑 |
通常锁定 |
|---|---|
载入模式与频率 |
数据类型(结构化 / 非结构化) |
同步策略、增量字段与回看窗口 |
载入方式(连接器 / 本地上传 / 网页采集) |
回补参数与预处理脚本 |
连接器、源库表或源对象 |
解压、去重与范围筛选 |
目标 Catalog 位置及已有表 / 新建表模式 |
计算资源与运行优先级 |
— |
更改增量字段会重置水位线,下次载入可能重读历史区间。保存前请确认新字段的值稳定且可排序,并且源端允许重读相应数据。
调度与运行控制¶
操作 |
行为 |
|---|---|
暂停 |
挂起任务,保留水位线与已完成的回补进度 |
恢复 |
从暂停位置继续;回补任务一般从上一完成批次恢复 |
停止 |
中止当前执行;是否再次调度取决于当前任务配置 |
删除 |
删除任务及其调度;请先确认没有下游流程仍依赖该数据的更新 |
一次性载入任务只写入一次;周期任务按配置间隔运行;实时任务持续或近实时读取源端变更。任务运行期间若要降低源端压力,可降低优先级、缩小范围、加大间隔,或在低峰窗口执行回补。
数据回补¶
实时或增量同步一般从当前水位线之后开始。数据回补用于补齐更早的历史数据:系统从指定起点分批读取,追赶到当前数据后自动回到正常同步。
设置 |
用途 |
|---|---|
回补开始时间 |
从最早可用数据,或从业务需要的历史时点开始 |
批次大小 |
每次读取的时间跨度;源端压力大时用较小批次 |
批次间隔 |
相邻批次之间的等待,避免持续占用生产系统 |
执行窗口 |
限制在夜间等低峰时段执行,减轻对业务的影响 |
回补可在创建任务时配置,也可从详情中触发。暂停或失败后,先检查源数据、网络与增量字段,再从保留的进度恢复。全量覆盖策略每次运行都会重读整表,一般不需要单独回补。
失败排查¶
在任务详情中查看错误、最近运行时间与目标。
回到连接器执行连接测试,确认网络、凭证与源端授权未变更。
检查源对象是否仍存在:文件路径、库表、集合、主题、队列、端点或邮件范围是否已变。
核对目标 Catalog 表或卷的权限、表结构、主键冲突策略,以及可用计算资源。
对增量任务,检查水位线、增量字段与回看窗口;必要时重新设计回补范围。