导入任务¶
按数据来源和形态选择导入方式，再查询任务状态、文件结果或运行记录。
选择任务¶
要完成的事 |
进入页面 |
说明 |
|---|---|---|
查找导入任务 |
列出当前工作区中有读取权限的导入任务。 |
|
检查导入配置和状态 |
读取一个导入任务的定义和当前状态。 |
|
理解导入任务返回内容 |
说明导入任务列表和详情返回的记录字段及适用条件。 |
|
从连接器导入文件 |
从连接器导入文件或目录，非结构化文件写入数据卷，结构化文件数据写入目标表。 |
|
从本地上传并导入文件 |
从本地导入文件，非结构化文件写入数据卷，结构化文件数据写入目标表。 |
|
从数据库导入结构化数据 |
从数据库连接器中选择表、集合或其他支持的对象，将其中数据写入目标表。 |
|
确定结构化导入回填位置 |
解析数据库结构化导入任务的回填起点。 |
|
修改已暂停的导入任务 |
更新一个已暂停的导入任务。 |
|
移除导入任务记录 |
删除任务记录，不回滚已写入目标的数据。 |
|
请求暂停正在执行的导入 |
请求暂停正在执行的导入任务，成功响应表示已受理。 |
|
继续已暂停的导入 |
请求恢复已暂停的导入任务，成功响应表示已受理。 |
|
检查导入文件处理结果 |
列出一个导入任务的文件级处理结果，并按文件状态筛选。 |
|
检查每次导入的执行记录 |
列出一个导入任务的运行记录，用于确认每次执行的状态和处理范围。 |
|
查看任务数量概览 |
返回当前调用者可查看的任务总数及运行、等待和失败数量。 |
|
再次处理导入失败文件 |
请求重试指定失败文件或全部失败文件，成功响应表示已受理。 |
本地结构化文件¶
先上传文件取得临时文件 ID，再按本地上传并创建导入任务将该 ID 填入 table_config.conn_file_ids，并填写目标表配置。
先确认数据会导入到哪里¶
非结构化导入：选择的数据卷就是最终写入位置。连接器方式由 volume_id 指定数据卷；本地方式由 multipart 字段 VolumeID 指定数据卷。当前请求没有“目标目录”字段，文件写入所选数据卷。
结构化文件导入：数据写入 table_config 指定的目标表。选择已有表时填写 table_id；新建表时填写 database_id、new_table: true 和 create_table。这类任务不以数据卷作为数据行的目标位置。
数据库结构化导入：数据写入 structured_load_config.target 指定的目标表。该请求不能携带 volume_id，也没有目标目录字段。
连接器文件或目录的来源路径由 source_config.common_file_task_config.uris 指定；本地上传中 meta 的 path 只用于描述和筛选上传来源路径，不是数据卷内的目标目录。
查看连接器文件类型¶
创建任务前，可先调用查看文件列表。响应中的 data.files[].type 表示连接器识别出的文件类型，data.files[].uri 可作为连接器文件导入的来源 URI。
创建页面的结构化文件选择器当前只允许选择 CSV（7）、XLS（24）和 XLSX（25）。
创建页面的非结构化文件筛选器提供文档、音频、视频、图片、网页、邮件、CAD 和其他类别。使用文件列表返回的 type 值填写 file_filter_config.file_types 或本地上传的 file_types。
文件类型只表示文件名可识别的类型；任务是否能够完成仍取决于来源文件、连接器和导入配置。提交任务后请查看任务详情、任务文件或运行记录确认实际结果。
本地上传数量和大小限制¶
下表是当前创建页面的本地文件选择限制，不是接口的服务端处理上限。
导入类型 |
单次可选择数量 |
单个文件大小 |
说明 |
|---|---|---|---|
非结构化文件 |
最多 20 个文件 |
最大 200 MiB |
可选择本地文件或文件夹；选择文件夹时，其中每个文件均计入 20 个文件。 |
结构化文件 |
1 个文件 |
最大 200 MiB |
当前文件选择器只允许 CSV、XLS 或 XLSX。 |
非结构化导入可配置项¶
非结构化导入在选择数据卷后，可按需要设置以下条件：
页面功能 |
请求字段 |
作用 |
|---|---|---|
连接器源 / 本地上传 |
/task JSON 请求或 /connectors/upload multipart 请求 |
决定从连接器读取，还是直接上传本地文件。 |
一次性 / 周期导入 |
load_mode_config |
连接器来源可一次性执行，也可按分钟、小时或每天周期扫描目录。周期任务只能选择目录。 |
文件类型筛选 |
file_filter_config.file_types 或 file_types |
可选文档、音频、视频、图片、网页、邮件、CAD 和其他类型；选择“其他”时不按类型筛选。 |
路径正则 |
file_filter_config.path_regex 或 path_regex |
仅处理来源路径匹配正则表达式的文件。 |
解压策略 |
unzip_keep_structure |
当前页面以扁平化方式处理压缩包。 |
去重策略 |
dedup.by、dedup.strategy |
可按文件名和/或 MD5 判断重复文件，并选择跳过或覆盖。 |