Kafka Connect、Debezium 与 JDBC CDC 目标¶
组件和角色¶
参考 Kafka 3.9.1、Debezium MySQL source/JDBC sink 3.1.2.Final、Confluent JDBC sink10.8.4。下面先用实际验证过的 Confluent JDBC 路径。Debezium JDBC 是不同 sink:它使用 primary.key.mode/collection.name.format 等配置,不能把 Confluent 的 JSON 直接换 connector.class。
准备 Kafka 与 distributed Connect worker,安装 source、JDBC sink 和 MySQL JDBC 驱动到 plugin.path,REST 端点列出所需插件。源使用真实 MySQL8.4 binlog(ROW、完整行像、权限及保留时间),目标为 MatrixOne;这不证明 MatrixOne 能作为 MySQL binlog 源。
表、转换器和配置¶
完成共用样例,在 MySQL 源用相同结构/初始值准备 doc_lake.lake_demo,目标预建 kc_demo。worker 的 key/value converter 使用开启 schemas 的 JSON(两者均 schemas.enable=true);精确小数要以逻辑 Decimal 保留,不能送入关闭 schema 的无类型数值 JSON。
下面配置生成器读取 SOURCE_、MO_、KAFKA_BOOTSTRAP,写敏感配置文件。示例是本机隔离网络;远程需增加 Kafka/SASL/TLS 和 JDBC TLS。auto.create/auto.evolve 关闭,把 DDL 迁移作为显式步骤。
CREATE DATABASE IF NOT EXISTS doc_lake;
USE doc_lake;
CREATE TABLE IF NOT EXISTS kc_demo (id BIGINT PRIMARY KEY, amount DECIMAL(38,18), payload VARBINARY(256), label VARCHAR(256), rev BIGINT);
SELECT id,CAST(amount AS CHAR),HEX(payload),label,rev FROM kc_demo ORDER BY id;
import json, os
from pathlib import Path
source = {"connector.class":"io.debezium.connector.mysql.MySqlConnector","tasks.max":"1",
"database.hostname":os.environ["SOURCE_HOST"],"database.port":os.environ["SOURCE_PORT"],
"database.user":os.environ["SOURCE_USER"],"database.password":os.environ["SOURCE_PASSWORD"],
"database.server.id":"7722","topic.prefix":"lakecdc","database.include.list":"doc_lake",
"table.include.list":"doc_lake.lake_demo","schema.history.internal.kafka.bootstrap.servers":os.environ["KAFKA_BOOTSTRAP"],
"schema.history.internal.kafka.topic":"lakecdc-schema","snapshot.mode":"initial",
"decimal.handling.mode":"precise","bigint.unsigned.handling.mode":"precise",
"time.precision.mode":"adaptive_time_microseconds","include.schema.changes":"false"}
sink = {"connector.class":"io.confluent.connect.jdbc.JdbcSinkConnector","tasks.max":"1",
"topics":"lakecdc.doc_lake.lake_demo",
"connection.url":f"jdbc:mysql://{os.environ['MO_HOST']}:{os.environ['MO_PORT']}/{os.environ['MO_DATABASE']}?useUnicode=true&characterEncoding=UTF-8",
"connection.user":os.environ["MO_USER"],"connection.password":os.environ["MO_PASSWORD"],
"table.name.format":"kc_demo","insert.mode":"upsert","pk.mode":"record_key","pk.fields":"id",
"delete.enabled":"true","auto.create":"false","auto.evolve":"false","batch.size":"20",
"transforms":"unwrap","transforms.unwrap.type":"io.debezium.transforms.ExtractNewRecordState",
"transforms.unwrap.delete.tombstone.handling.mode":"tombstone","errors.tolerance":"none"}
for name, data in (("source-connect.json",source),("sink-connect.json",sink)):
p = Path(name)
p.touch(mode=0o600,exist_ok=False)
p.write_text(json.dumps(data))
curl --fail "$CONNECT_URL/connector-plugins"
curl --fail -X PUT -H 'Content-Type: application/json' --data-binary @source-connect.json "$CONNECT_URL/connectors/lake-source/config"
curl --fail -X PUT -H 'Content-Type: application/json' --data-binary @sink-connect.json "$CONNECT_URL/connectors/lake-sink/config"
curl --fail "$CONNECT_URL/connectors/lake-source/status"
curl --fail "$CONNECT_URL/connectors/lake-sink/status"
验证删除与模式¶
先等待 snapshot 两个键与目标逐字段相等,再在 MySQL 源修改 label/rev、删除 id 2、变更主键,并等待目标最终值;捕获事件 key、op、tombstone 和 sink SQL。delete.enabled=true 需要正确 record key;只保留非空 value 或丢弃 tombstone 会丢删除。UPDATE 是 final-state UPSERT,非幂等累加操作需事件去重。
新增 nullable 列先改目标 DDL,再改源并验证事件 schema。重命名、删列、缩窄、NOT NULL/default 的改变独立测试。Debezium JDBC 自动演进曾生成括号包裹的 ALTER ADD COLUMN,见 matrixone#29851;预建表与关闭自动 DDL 是明确配置路径,不等于自动演进已跑通。
Offset、重启和压力¶
分别测试 worker 重启、broker 同盘重启、rebalance 和提交后未记 offset 的重放。比对源/目标全字段、重复键与 committed next offset;复位 consumer offset 前必须保存水位、原事件和目标效果。保留 topic/schema history/Connect internal topics,不能为了“重跑通过”清空证据。
此前验证的边界是至少一次投递加主键幂等最终状态,单节点 broker 同盘恢复不代表复制容灾。Kafka 的事务/读已提交视图不能让外部 SQL 与 offset 自动原子提交。报告 batch、tasks、分区数、实际连接、吞吐与积压;无证据时不能称为跨系统 exactly-once。