查看结构化导入任务

使用 AI Studio SDK 分页列出工作区中的结构化导入任务,并按任务 ID 读取单个任务的状态、本次与累计行数统计以及错误信息。

任务流程

先分页拉取工作区导入任务列表并筛选配置类型为 3 的结构化导入任务,记录目标任务 ID;再传入该任务 ID 查询详情与行数统计。

工作区连接器服务
       │
       ▼
分页列出导入任务并筛选结构化任务(配置类型 = 3)
       │
       ▼
    目标任务 ID
       │
       ▼
读取任务状态、本次与累计行数统计及错误信息

准备

  1. 已完成 使用 SDK 中的服务地址、个人访问令牌与工作区配置。

  2. 任务 ID(读取任务详情时):运行下文分页列表代码,从输出中选择一个结构化导入任务 ID 并设置为环境变量 TASK_ID。

分页列出结构化导入任务

按每页 100 条读取工作区中的导入任务,仅筛选配置类型为 3 的结构化导入任务并输出任务 ID、名称、连接器名称与当前状态。当返回页为空或已读取条数达到总条数时停止翻页。

import os

import moi_product_sdk as sdk

client = sdk.new_with_personal_access_token(
    os.environ["PRODUCT_API_BASE_URL"],
    os.environ["PRODUCT_API_KEY"],
)
workspace = client.workspace(os.environ["WORKSPACE_ID"])
service = workspace.connectors()

page = 1
while True:
    result = service.tasks(sdk.with_page(page), sdk.with_page_size(100))
    for item in result.tasks:
        if item.config_type != 3:
            continue
        print(f"id={item.id} name={item.name} connector={item.connector_name} status={item.status}")
    if not result.tasks or page * 100 >= result.total:
        break
    page += 1
package main

import (
	"context"
	"fmt"
	"os"

	sdk "github.com/matrixorigin/matrixflow/sdk/go-sdk"
)

func main() {
	ctx := context.Background()
	client, err := sdk.NewWithPersonalAccessToken(
		os.Getenv("PRODUCT_API_BASE_URL"),
		os.Getenv("PRODUCT_API_KEY"),
	)
	if err != nil {
		panic(err)
	}
	workspace, err := client.Workspace(os.Getenv("WORKSPACE_ID"))
	if err != nil {
		panic(err)
	}
	service := workspace.Connectors()

	for page := 1; ; page++ {
		result, err := service.Tasks(ctx, sdk.WithPage(page), sdk.WithPageSize(100))
		if err != nil {
			panic(err)
		}
		for _, item := range result.GetTasks() {
			if item.GetConfigType() != 3 {
				continue
			}
			fmt.Printf("id=%s name=%s connector=%s status=%d\n", item.GetId(), item.GetName(), item.GetConnectorName(), item.GetStatus())
		}
		if len(result.GetTasks()) == 0 || int64(page*100) >= result.GetTotal() {
			break
		}
	}
}

读取任务详情与行数统计

在环境变量 TASK_ID 中设置上一步输出的目标任务 ID,复用连接器服务读取任务详情,核对总行数、已导入行数、错误摘要以及本次和累计行数统计。

task_id = os.environ["TASK_ID"]
info = service.get_task(task_id)
if not info.HasField("task") or info.task.id != task_id:
    raise RuntimeError("详情缺失或返回的任务 ID 不匹配")

task = info.task
print(f"id={task.id} name={task.name} status={task.status}")
print(f"total_rows={task.total_rows} imported_rows={task.imported_rows}")
print(f"error_code={task.error_code} error_summary={task.error_summary}")

for group in ("latest_rows", "cumulative_rows"):
    if not task.HasField(group):
        print(f"{group}=未提供")
        continue
    stats = getattr(task, group)
    print(f"{group}.complete={stats.complete}")
    for field in ("read_rows", "succeeded_rows", "failed_rows", "skipped_rows"):
        value = getattr(stats, field) if stats.HasField(field) else "未提供"
        print(f"{group}.{field}={value}")
taskID := os.Getenv("TASK_ID")
info, err := service.GetTask(ctx, taskID)
if err != nil {
	panic(err)
}
task := info.GetTask()
if task == nil || task.GetId() != taskID {
	panic("详情缺失或返回的任务 ID 不匹配")
}

fmt.Printf("id=%s name=%s status=%d\n", task.GetId(), task.GetName(), task.GetStatus())
fmt.Printf("total_rows=%d imported_rows=%d\n", task.GetTotalRows(), task.GetImportedRows())
fmt.Printf("error_code=%s error_summary=%s\n", task.GetErrorCode(), task.GetErrorSummary())

for _, group := range []string{"latest_rows", "cumulative_rows"} {
	stats := task.GetLatestRows()
	if group == "cumulative_rows" {
		stats = task.GetCumulativeRows()
	}
	if stats == nil {
		fmt.Printf("%s=未提供\n", group)
		continue
	}
	fmt.Printf("%s.complete=%t\n", group, stats.GetComplete())
	fields := []struct {
		name  string
		value *int64
	}{
		{"read_rows", stats.ReadRows},
		{"succeeded_rows", stats.SucceededRows},
		{"failed_rows", stats.FailedRows},
		{"skipped_rows", stats.SkippedRows},
	}
	for _, field := range fields {
		if field.value == nil {
			fmt.Printf("%s.%s=未提供\n", group, field.name)
		} else {
			fmt.Printf("%s.%s=%d\n", group, field.name, *field.value)
		}
	}
}

状态与统计字段说明

输出项

判断说明

任务 ID、名称与连接器名称

详情响应中的任务 ID 应与传入的 TASK_ID 一致;分页拉取期间任务状态可能继续推进,以单次详情查询返回值为准。

任务状态与错误信息

结合状态码、错误代码与错误摘要判断同步是否正常推进或已中断。

总行数与已导入行数

反映任务整体估算规模与已写入目标表的行数。

本次统计与累计统计

分别展示最近一次运行与历史累计的行数明细,包含完整性标志及读取、成功、失败、跳过行数;字段未返回(输出“未提供”)与明确返回 0 含义不同。

下一步

最后更新于