Flink 原生 MySQL CDC 到 MatrixOne 与恢复验收¶
组件与源端条件¶
本轮组件为 Flink 1.20.2、MySQL CDC 3.6.0-1.20、Flink JDBC 3.3.0-1.20、Connector/J 8.4.0 和 Temurin Java 17。核对官方发行包校验和,将三个连接器/驱动 jar 放入独立 FLINK_HOME/lib,禁止混用另一版本 planner。
MySQL 源端必须启用 binlog、ROW 格式及 FULL 行镜像;为 CDC 配置唯一 server-id、读取/复制权限及足够保留时间。MatrixOne 在本路径中是 SQL sink。运行前确认实际部署版本,不把 MySQL CDC 连接器直接认定为 MatrixOne binlog source。
准备精确数据¶
按连接与样例配置独立测试库。源端是 MySQL,目标端是 MatrixOne;两端分别创建下面的表,只在源端插入数据。设置 SRC_JDBC_URL/SRC_USER/SRC_PASSWORD 和 MO_JDBC_URL/MO_USER/MO_PASSWORD;URL 指向各自测试库,固定 UTF-8 和 UTC。示例的本地明文连接不能代替生产 TLS 验证。
CREATE TABLE native_demo (
id BIGINT PRIMARY KEY,
amount DECIMAL(38,18), biguint BIGINT UNSIGNED,
payload VARBINARY(256), ts DATETIME(6), elapsed TIME(6), label VARCHAR(256)
);
INSERT INTO native_demo VALUES
(1,12345678901234567890.123456789012345678,18446744073709551615,
X'00FF80','2024-02-29 12:00:00.123456','-00:00:00.000001','中文😀'),
(2,NULL,NULL,NULL,NULL,NULL,NULL),
(3,0,9007199254740993,X'','1970-01-01 00:00:00','37:00:00.999999','');
配置 checkpoint 并执行¶
在 Flink 配置中设置持久、可恢复的 state.checkpoints.dir 和 state.savepoints.dir,并按部署方式启动 JobManager/TaskManager。下面 SQL 里的地址、库、用户名和密码是占位符:由私有生成文件或部署 secret 注入,文件权限设为 0600。查询暂不投影 elapsed;扩展 TIME 和 precision 65 的十进制需额外的源侧字符串契约,不在此原生类型示例中。目标 native_demo 要预创建,且不得已有冲突数据。
以下语句属于 Flink。SQL Client 使用下面的 SET;Table API 用 getConfig().getConfiguration().setString(...) 设置对应参数,再通过 executeSql(...) 提交 DDL/INSERT。将 JOBMANAGER_HOST 和 REST 端口替换为实际集群。
SET 'execution.target'='remote';
SET 'rest.address'='JOBMANAGER_HOST';
SET 'rest.port'='8081';
SET 'parallelism.default'='1';
SET 'execution.checkpointing.interval'='2 s';
SET 'execution.checkpointing.mode'='EXACTLY_ONCE';
SET 'execution.checkpointing.externalized-checkpoint-retention'='RETAIN_ON_CANCELLATION';
CREATE TABLE source_rows (
id BIGINT, amount DECIMAL(38,18), biguint DECIMAL(20,0),
payload BYTES, ts TIMESTAMP(6), label STRING,
PRIMARY KEY(id) NOT ENFORCED
) WITH (
'connector'='mysql-cdc', 'hostname'='MYSQL_HOST', 'port'='3306',
'username'='SOURCE_USER', 'password'='SOURCE_PASSWORD',
'database-name'='source_db', 'table-name'='native_demo',
'server-id'='57300-57301', 'server-time-zone'='UTC',
'scan.startup.mode'='initial', 'scan.incremental.snapshot.enabled'='true'
);
CREATE TABLE target_rows (
id BIGINT, amount DECIMAL(38,18), biguint DECIMAL(20,0),
payload BYTES, ts TIMESTAMP(6), label STRING,
PRIMARY KEY(id) NOT ENFORCED
) WITH (
'connector'='jdbc',
'url'='jdbc:mysql://MO_HOST:6001/target_db?useSSL=false&serverTimezone=UTC',
'table-name'='native_demo', 'driver'='com.mysql.cj.jdbc.Driver',
'username'='TARGET_USER', 'password'='TARGET_PASSWORD',
'sink.buffer-flush.max-rows'='17', 'sink.buffer-flush.interval'='100 ms',
'sink.max-retries'='0'
);
INSERT INTO target_rows SELECT * FROM source_rows;
"$FLINK_HOME/bin/sql-client.sh" -f native-cdc.sql
删除、DDL 与断点恢复验收¶
记录 Job ID,等待 RUNNING 和首个完成 checkpoint;初始快照用新连接按主键逐字段核对 Decimal、UInt64、bytes、微秒及 NULL。
在源端提交更新、物理 DELETE、新增及主键修改;两端核对旧键消失、新键出现和所有值,不只看行数。
源端 ADD COLUMN 后核对固定投影是否继续工作。既有字段正常不表示新字段自动进入目标,目标 DDL 与作业新投影需要单独迁移。
保存完成 checkpoint 的编号/路径。停止本作业 TaskManager,在停机窗口提交源端更新删除,恢复 TaskManager,记录 REST checkpoints/latest/restored 与新连接全值结果。
回滚源端事务,验证回滚值没有进入 sink;保留源端 binlog 位置、失败记录、checkpoint 和最终哈希。
普通 JDBC sink 是 at-least-once。此作业的 checkpoint mode=EXACTLY_ONCE 指 Flink 状态,不代表外部数据库事务 exactly-once;主键 upsert 的最终状态幂等也不是非幂等副作用的 EOS 证明。若选择 XA,必须验证 MatrixOne、驱动和 sink 的 prepare/commit/recover 及故障窗口。
本轮实际 CDC 结果¶
2026-10-13,同一 MatrixOne commit 与 MySQL 8.4 对照,6 个阶段 × 2 个目标共 12 个 case 全部通过。原生 TableEnvironment.executeSql 提交 Job 01c5f3cd5d6ffecc6ae85cd28de42119;JobManager/TaskManager 真实运行,source 为 MySQL snapshot/binlog,sink 为两个 JDBC 主键表。
阶段 |
每目标行数 |
核对结果 |
|---|---|---|
initial_snapshot |
64 |
独立全值回读通过 |
update_delete_insert |
80 |
独立全值回读通过 |
primary_key_change |
80 |
独立全值回读通过 |
source_add_column_fixed_projection |
80 |
独立全值回读通过 |
taskmanager_restart_offline_deltas |
73 |
独立全值回读通过 |
rolled_back_source_transaction |
73 |
独立全值回读通过 |
REST 证据确认恢复的是 checkpoint 3(is_savepoint=false),之后源端停机窗口增量进入两个目标,最终各 73 行。Decimal(38,18)、UInt64 上界、二进制、TIMESTAMP(6)、Unicode、SQL NULL 与 JSON null 均按对应原始值核对;JSON 按结构比较,原始文本同时归档。ADD COLUMN 只验证既有固定投影,未验证新字段自动传播。
初次裁剪安装缺少 Python/Gateway jar、SQL Client 嵌入式 Gateway 的 bind-port 配置也阻断提交,这些是运行环境 preflight,不计入上述 12 个 CDC case。补齐官方 jar 后,本轮最终使用 Table API;上面的 SQL Client 操作示例未在本轮完整认证。使用完整官方发行包,SQL Client 与集群分别配置:客户端配置不要继承集群固定的 rest.bind-port,避免嵌入式 Gateway 端口冲突/广告地址不一致。
保留失败尝试、完成 checkpoint、归档和新连接回读哈希。普通 JDBC sink 仍是 at-least-once;未验证 XA、手动回放更早 checkpoint、binlog 清理后的恢复、跨系统非幂等副作用、吞吐或长稳。