Airbyte 官方连接器协议与目标端验收

路径、版本与已知限制

参考 airbyte/source-mysql:3.53.7、airbyte/destination-mysql:1.1.1。此前运行官方 Docker source/destination 的本地协议链路;不是 Airbyte 完整控制平台、调度或 Kubernetes HA 部署。本路径用真实 MySQL 源,不假定 MatrixOne 提供 MySQL binlog。

官方 MySQL destination 写 MatrixOne 曾因 LOAD DATA ... SET NULLIF(@user_variable,...) 阻断,见 matrixone#29849。SQL 效果适配器跑通的数据集必须单独标记,不能算成官方 destination 成功。先核实目标发布版是否包含修复,再执行下列官方探测。

准备源事件表

部署可访问的 MySQL 源并授予只读/元数据权限;在本机隔离测试可用 standard 读取,CDC 应另配 binlog 权限和保留策略。下面样例在 MySQL 源执行,payload 使用精确字符串封装;deleted 是显式删除标记,不是普通表轮询自动发现物理删除。此独立样例数据库为 doc_airbyte。

CREATE DATABASE IF NOT EXISTS doc_airbyte;
USE doc_airbyte;
CREATE TABLE IF NOT EXISTS airbyte_events (event_seq BIGINT PRIMARY KEY, payload TEXT, deleted BOOLEAN);
INSERT INTO airbyte_events VALUES (1,'{"id":"9007199254740993","amount":"0.000000000000000001","binary_hex":"00ff80"}',FALSE)
ON DUPLICATE KEY UPDATE payload=VALUES(payload),deleted=VALUES(deleted);
SELECT * FROM airbyte_events ORDER BY event_seq;

配置文件

在本机隔离环境运行以下配置生成脚本,提前设置 SOURCE_HOST/PORT/USER/PASSWORD 与 MO_*。SOURCE_HOST 需能从 connector 容器访问;下面命令用 Linux host network,其他容器网络需调整。配置文件含秘密,限制权限并排除版本管理。下面 ssl 设置只适用本机实验,远程按 connector 版本配置 TLS。

import json, os
from pathlib import Path

source = {"host":os.environ["SOURCE_HOST"],"port":int(os.environ["SOURCE_PORT"]),
          "database":"doc_airbyte","username":os.environ["SOURCE_USER"],
          "password":os.environ["SOURCE_PASSWORD"],"replication_method":{"method":"STANDARD"},
          "ssl_mode":{"mode":"preferred"},"tunnel_method":{"tunnel_method":"NO_TUNNEL"},
          "table_filters":[{"database_name":"doc_airbyte","table_name_patterns":["airbyte_events"]}]}
destination = {"host":os.environ["MO_HOST"],"port":int(os.environ["MO_PORT"]),
               "database":"doc_airbyte","raw_data_schema":"doc_airbyte",
               "username":os.environ["MO_USER"],"password":os.environ["MO_PASSWORD"],
               "ssl":False,"tunnel_method":{"tunnel_method":"NO_TUNNEL"}}
for name, data in (("source.json",source),("destination.json",destination)):
    p = Path(name)
    p.touch(mode=0o600,exist_ok=False)
    p.write_text(json.dumps(data))
docker run --rm --network host -v "$PWD:/config:ro" airbyte/source-mysql:3.53.7 check --config /config/source.json > check.jsonl 2> check.stderr
docker run --rm --network host -v "$PWD:/config:ro" airbyte/source-mysql:3.53.7 discover --config /config/source.json > discover.jsonl 2> discover.stderr

根据真实 DISCOVER 生成 configured catalog,不手写猜测 schema。保存并运行下段脚本:

import json
from pathlib import Path

messages = []
for line in Path("discover.jsonl").read_text().splitlines():
    try:
        messages.append(json.loads(line))
    except ValueError:
        continue
catalog = next(x["catalog"] for x in messages if x.get("type")=="CATALOG")
stream = next(x for x in catalog["streams"] if x["name"]=="airbyte_events")
configured = {"streams":[{"stream":stream,"sync_mode":"full_refresh","destination_sync_mode":"append"}]}
Path("catalog.json").write_text(json.dumps(configured))
docker run --rm --network host -v "$PWD:/config:ro" airbyte/source-mysql:3.53.7 read --config /config/source.json --catalog /config/catalog.json > read.jsonl 2> read.stderr

从输出保留 RECORD/STATE,去掉 LOG 和其他消息,随后在已授权的 MatrixOne 专用库运行官方目标。此步骤用于复现目标兼容性,可能在受影响版本失败;失败时保留完整 TRACE/生成 SQL,不能将最后 source STATE 当成 destination ACK。

import json
from pathlib import Path

with Path("protocol.jsonl").open("w") as out:
    for line in Path("read.jsonl").read_text().splitlines():
        try:
            x = json.loads(line)
        except ValueError:
            continue
        if x.get("type") in ("RECORD","STATE"):
            out.write(json.dumps(x,ensure_ascii=False)+"\n")
docker run --rm -i --network host -v "$PWD:/config:ro" airbyte/destination-mysql:1.1.1 write --config /config/destination.json --catalog /config/catalog.json < protocol.jsonl > write.jsonl 2> write.stderr

验收、删除与断点

分别核对 CHECK SUCCESS、DISCOVER catalog、READ 的 RECORD/STATE、WRITE 的 ACK/TRACE 与目标新连接回读。字符串封装仍需逐字段解码核对;不能只对比 RECORD 数量。目标可能创建 raw 表,用生成的真实表名和 schema 回读,不预设已展开业务表。

full_refresh/append 重跑可能重复;旧行 UPDATE/DELETE 不由 standard 读取自动传播。真正增量/CDC 配置需另验游标、state 恢复、删除事件及目标去重。只有收到目标已持久化对应批次的 ACK 才可推进管线 checkpoint;本地 connector 协议执行不等于平台调度状态原子提交。Schema 更新需重新 DISCOVER、对照 catalog,再迁移目标映射。