Airbyte 官方连接器协议与目标端验收¶
路径、版本与已知限制¶
参考 airbyte/source-mysql:3.53.7、airbyte/destination-mysql:1.1.1。此前运行官方 Docker source/destination 的本地协议链路;不是 Airbyte 完整控制平台、调度或 Kubernetes HA 部署。本路径用真实 MySQL 源,不假定 MatrixOne 提供 MySQL binlog。
官方 MySQL destination 写 MatrixOne 曾因 LOAD DATA ... SET NULLIF(@user_variable,...) 阻断,见 matrixone#29849。SQL 效果适配器跑通的数据集必须单独标记,不能算成官方 destination 成功。先核实目标发布版是否包含修复,再执行下列官方探测。
准备源事件表¶
部署可访问的 MySQL 源并授予只读/元数据权限;在本机隔离测试可用 standard 读取,CDC 应另配 binlog 权限和保留策略。下面样例在 MySQL 源执行,payload 使用精确字符串封装;deleted 是显式删除标记,不是普通表轮询自动发现物理删除。此独立样例数据库为 doc_airbyte。
CREATE DATABASE IF NOT EXISTS doc_airbyte;
USE doc_airbyte;
CREATE TABLE IF NOT EXISTS airbyte_events (event_seq BIGINT PRIMARY KEY, payload TEXT, deleted BOOLEAN);
INSERT INTO airbyte_events VALUES (1,'{"id":"9007199254740993","amount":"0.000000000000000001","binary_hex":"00ff80"}',FALSE)
ON DUPLICATE KEY UPDATE payload=VALUES(payload),deleted=VALUES(deleted);
SELECT * FROM airbyte_events ORDER BY event_seq;
配置文件¶
在本机隔离环境运行以下配置生成脚本,提前设置 SOURCE_HOST/PORT/USER/PASSWORD 与 MO_*。SOURCE_HOST 需能从 connector 容器访问;下面命令用 Linux host network,其他容器网络需调整。配置文件含秘密,限制权限并排除版本管理。下面 ssl 设置只适用本机实验,远程按 connector 版本配置 TLS。
import json, os
from pathlib import Path
source = {"host":os.environ["SOURCE_HOST"],"port":int(os.environ["SOURCE_PORT"]),
"database":"doc_airbyte","username":os.environ["SOURCE_USER"],
"password":os.environ["SOURCE_PASSWORD"],"replication_method":{"method":"STANDARD"},
"ssl_mode":{"mode":"preferred"},"tunnel_method":{"tunnel_method":"NO_TUNNEL"},
"table_filters":[{"database_name":"doc_airbyte","table_name_patterns":["airbyte_events"]}]}
destination = {"host":os.environ["MO_HOST"],"port":int(os.environ["MO_PORT"]),
"database":"doc_airbyte","raw_data_schema":"doc_airbyte",
"username":os.environ["MO_USER"],"password":os.environ["MO_PASSWORD"],
"ssl":False,"tunnel_method":{"tunnel_method":"NO_TUNNEL"}}
for name, data in (("source.json",source),("destination.json",destination)):
p = Path(name)
p.touch(mode=0o600,exist_ok=False)
p.write_text(json.dumps(data))
docker run --rm --network host -v "$PWD:/config:ro" airbyte/source-mysql:3.53.7 check --config /config/source.json > check.jsonl 2> check.stderr
docker run --rm --network host -v "$PWD:/config:ro" airbyte/source-mysql:3.53.7 discover --config /config/source.json > discover.jsonl 2> discover.stderr
根据真实 DISCOVER 生成 configured catalog,不手写猜测 schema。保存并运行下段脚本:
import json
from pathlib import Path
messages = []
for line in Path("discover.jsonl").read_text().splitlines():
try:
messages.append(json.loads(line))
except ValueError:
continue
catalog = next(x["catalog"] for x in messages if x.get("type")=="CATALOG")
stream = next(x for x in catalog["streams"] if x["name"]=="airbyte_events")
configured = {"streams":[{"stream":stream,"sync_mode":"full_refresh","destination_sync_mode":"append"}]}
Path("catalog.json").write_text(json.dumps(configured))
docker run --rm --network host -v "$PWD:/config:ro" airbyte/source-mysql:3.53.7 read --config /config/source.json --catalog /config/catalog.json > read.jsonl 2> read.stderr
从输出保留 RECORD/STATE,去掉 LOG 和其他消息,随后在已授权的 MatrixOne 专用库运行官方目标。此步骤用于复现目标兼容性,可能在受影响版本失败;失败时保留完整 TRACE/生成 SQL,不能将最后 source STATE 当成 destination ACK。
import json
from pathlib import Path
with Path("protocol.jsonl").open("w") as out:
for line in Path("read.jsonl").read_text().splitlines():
try:
x = json.loads(line)
except ValueError:
continue
if x.get("type") in ("RECORD","STATE"):
out.write(json.dumps(x,ensure_ascii=False)+"\n")
docker run --rm -i --network host -v "$PWD:/config:ro" airbyte/destination-mysql:1.1.1 write --config /config/destination.json --catalog /config/catalog.json < protocol.jsonl > write.jsonl 2> write.stderr
验收、删除与断点¶
分别核对 CHECK SUCCESS、DISCOVER catalog、READ 的 RECORD/STATE、WRITE 的 ACK/TRACE 与目标新连接回读。字符串封装仍需逐字段解码核对;不能只对比 RECORD 数量。目标可能创建 raw 表,用生成的真实表名和 schema 回读,不预设已展开业务表。
full_refresh/append 重跑可能重复;旧行 UPDATE/DELETE 不由 standard 读取自动传播。真正增量/CDC 配置需另验游标、state 恢复、删除事件及目标去重。只有收到目标已持久化对应批次的 ACK 才可推进管线 checkpoint;本地 connector 协议执行不等于平台调度状态原子提交。Schema 更新需重新 DISCOVER、对照 catalog,再迁移目标映射。