查看结构化导入任务¶
使用 AI Studio SDK 分页列出工作区中的结构化导入任务,并按任务 ID 读取单个任务的状态、本次与累计行数统计以及错误信息。
任务流程¶
先分页拉取工作区导入任务列表并筛选配置类型为 3 的结构化导入任务,记录目标任务 ID;再传入该任务 ID 查询详情与行数统计。
工作区连接器服务
│
▼
分页列出导入任务并筛选结构化任务(配置类型 = 3)
│
▼
目标任务 ID
│
▼
读取任务状态、本次与累计行数统计及错误信息
准备¶
已完成 使用 SDK 中的服务地址、个人访问令牌与工作区配置。
任务 ID(读取任务详情时):运行下文分页列表代码,从输出中选择一个结构化导入任务 ID 并设置为环境变量
TASK_ID。
分页列出结构化导入任务¶
按每页 100 条读取工作区中的导入任务,仅筛选配置类型为 3 的结构化导入任务并输出任务 ID、名称、连接器名称与当前状态。当返回页为空或已读取条数达到总条数时停止翻页。
import os
import moi_product_sdk as sdk
client = sdk.new_with_personal_access_token(
os.environ["PRODUCT_API_BASE_URL"],
os.environ["PRODUCT_API_KEY"],
)
workspace = client.workspace(os.environ["WORKSPACE_ID"])
service = workspace.connectors()
page = 1
while True:
result = service.tasks(sdk.with_page(page), sdk.with_page_size(100))
for item in result.tasks:
if item.config_type != 3:
continue
print(f"id={item.id} name={item.name} connector={item.connector_name} status={item.status}")
if not result.tasks or page * 100 >= result.total:
break
page += 1
package main
import (
"context"
"fmt"
"os"
sdk "github.com/matrixorigin/matrixflow/sdk/go-sdk"
)
func main() {
ctx := context.Background()
client, err := sdk.NewWithPersonalAccessToken(
os.Getenv("PRODUCT_API_BASE_URL"),
os.Getenv("PRODUCT_API_KEY"),
)
if err != nil {
panic(err)
}
workspace, err := client.Workspace(os.Getenv("WORKSPACE_ID"))
if err != nil {
panic(err)
}
service := workspace.Connectors()
for page := 1; ; page++ {
result, err := service.Tasks(ctx, sdk.WithPage(page), sdk.WithPageSize(100))
if err != nil {
panic(err)
}
for _, item := range result.GetTasks() {
if item.GetConfigType() != 3 {
continue
}
fmt.Printf("id=%s name=%s connector=%s status=%d\n", item.GetId(), item.GetName(), item.GetConnectorName(), item.GetStatus())
}
if len(result.GetTasks()) == 0 || int64(page*100) >= result.GetTotal() {
break
}
}
}
读取任务详情与行数统计¶
在环境变量 TASK_ID 中设置上一步输出的目标任务 ID,复用连接器服务读取任务详情,核对总行数、已导入行数、错误摘要以及本次和累计行数统计。
task_id = os.environ["TASK_ID"]
info = service.get_task(task_id)
if not info.HasField("task") or info.task.id != task_id:
raise RuntimeError("详情缺失或返回的任务 ID 不匹配")
task = info.task
print(f"id={task.id} name={task.name} status={task.status}")
print(f"total_rows={task.total_rows} imported_rows={task.imported_rows}")
print(f"error_code={task.error_code} error_summary={task.error_summary}")
for group in ("latest_rows", "cumulative_rows"):
if not task.HasField(group):
print(f"{group}=未提供")
continue
stats = getattr(task, group)
print(f"{group}.complete={stats.complete}")
for field in ("read_rows", "succeeded_rows", "failed_rows", "skipped_rows"):
value = getattr(stats, field) if stats.HasField(field) else "未提供"
print(f"{group}.{field}={value}")
taskID := os.Getenv("TASK_ID")
info, err := service.GetTask(ctx, taskID)
if err != nil {
panic(err)
}
task := info.GetTask()
if task == nil || task.GetId() != taskID {
panic("详情缺失或返回的任务 ID 不匹配")
}
fmt.Printf("id=%s name=%s status=%d\n", task.GetId(), task.GetName(), task.GetStatus())
fmt.Printf("total_rows=%d imported_rows=%d\n", task.GetTotalRows(), task.GetImportedRows())
fmt.Printf("error_code=%s error_summary=%s\n", task.GetErrorCode(), task.GetErrorSummary())
for _, group := range []string{"latest_rows", "cumulative_rows"} {
stats := task.GetLatestRows()
if group == "cumulative_rows" {
stats = task.GetCumulativeRows()
}
if stats == nil {
fmt.Printf("%s=未提供\n", group)
continue
}
fmt.Printf("%s.complete=%t\n", group, stats.GetComplete())
fields := []struct {
name string
value *int64
}{
{"read_rows", stats.ReadRows},
{"succeeded_rows", stats.SucceededRows},
{"failed_rows", stats.FailedRows},
{"skipped_rows", stats.SkippedRows},
}
for _, field := range fields {
if field.value == nil {
fmt.Printf("%s.%s=未提供\n", group, field.name)
} else {
fmt.Printf("%s.%s=%d\n", group, field.name, *field.value)
}
}
}
状态与统计字段说明¶
输出项 |
判断说明 |
|---|---|
任务 ID、名称与连接器名称 |
详情响应中的任务 ID 应与传入的 |
任务状态与错误信息 |
结合状态码、错误代码与错误摘要判断同步是否正常推进或已中断。 |
总行数与已导入行数 |
反映任务整体估算规模与已写入目标表的行数。 |
本次统计与累计统计 |
分别展示最近一次运行与历史累计的行数明细,包含完整性标志及读取、成功、失败、跳过行数;字段未返回(输出“未提供”)与明确返回 |
下一步¶
最后更新于