DataX、SeaTunnel、Spark、Flink 与 Trino 的任务验收¶
进一步运行:DataX 实际源表与类型、Spark JDBC 真实读写、Flink binlog、删除与 checkpoint 恢复。
从完整任务开始¶
已有 DataX、SeaTunnel、Spark、Flink 教程包含安装、连接器和任务启动。先使用对应引擎运行,而不是用 Python/JDBC 探针替代引擎。本页把此前类型、适配和恢复验证中的验收规则带入这些任务;未执行的新重载运行器不计为通过。
完成共用样例,保存引擎/插件/JDBC/MatrixOne 的实际版本。源 MySQL CDC 与 MatrixOne SQL sink 分角色,目标预建表,DDL 单独控制。运行前固定源键范围或快照,否则各分区“读完”并不代表同一时点数据。
DataX 与 SeaTunnel:批次契约¶
DataX 配置显式 column 顺序与 writer 的 writeMode,使用安装中真实存在的 writer 插件;insert、replace、update 分开验证。SeaTunnel 配置真实 Jdbc source/sink 与 BATCH/STREAMING 模式,SQL 参数顺序与 schema 一致,不因为用了同一个 JDBC 就推定两种模式都通过。
将源样例扩到负/超24小时 TIME、65位 Decimal、UInt64/BIT64、空 ENUM/SET、NULL/空 bytes/空字符串和嵌套 JSON。遇到插件不能表达的类型,用可逆 CAST/HEX/字符串契约并标记适配。空 ENUM/SET 文件加载历史问题见 #29840,小数解析见 #29841。
检查任务 read/write/failed 统计之外的新连接全字段回读、分片覆盖与重复键。追加批次重试不自动去重;增量删除用明确 tombstone/事件。控制 channel/parallelism、batch 与实际连接,检查某分片失败时其他已提交分片的恢复。
Spark:明确 schema 与预建目标¶
以下补充写入示例使用已有 lake_demo,安装对应 Spark/PySpark 和 JDBC 驱动,设置 MO_JDBC_JAR 与共用环境。Java JDBC URL 与秘密由运行环境读取,本机实验不等于远程 TLS 已认证。DecimalType(38,18) 不能默认承载 SQL 的65位小数,TIME/日期范围需另外配置;默认 JDBC 反射结果单独核对。相关 Spark 文档修订见 matrixone-doc#425。
import os
from decimal import Decimal
from pyspark.sql import SparkSession
from pyspark.sql.types import StructType,StructField,LongType,DecimalType,BinaryType,StringType
spark = SparkSession.builder.appName("matrixone_lake_demo").config("spark.jars",os.environ["MO_JDBC_JAR"]).getOrCreate()
try:
schema = StructType([StructField("id",LongType(),False),StructField("amount",DecimalType(38,18)),
StructField("payload",BinaryType()),StructField("label",StringType()),StructField("rev",LongType())])
frame = spark.createDataFrame([(701,Decimal("12345678901234567890.123456789012345678"),
bytearray(b"\x00\xff\x80"),"Spark😀",0)],schema)
url = f"jdbc:mysql://{os.environ['MO_HOST']}:{os.environ['MO_PORT']}/{os.environ['MO_DATABASE']}?useUnicode=true&characterEncoding=UTF-8"
frame.coalesce(1).write.format("jdbc").option("url",url).option("dbtable","lake_demo").option("driver","com.mysql.cj.jdbc.Driver").option("user",os.environ["MO_USER"]).option("password",os.environ["MO_PASSWORD"]).option("batchsize","31").mode("append").save()
finally:
spark.stop()
Spark 写任务分区、task retry 与 speculative execution 可能重放;append 不等于全局原子写入。read 分区边界必须完整覆盖且不重叠,NULL 分区键和有并发源变更时要单独验证。失败前后记录 Spark stage/task、SQL 批次与目标键。
Flink CDC:checkpoint 与外部数据库¶
使用已有教程配置实际 MySQL CDC 源、Flink checkpoint 存储和真实 JDBC sink。带主键的更新/删除必须以正确 changelog 传给 sink;普通追加表无法表示删除。普通 JDBC sink 的 checkpoint 不等于外部 SQL exactly-once。选择 XA 路径前,应独立确认 MatrixOne 发布版、驱动和 sink 的 XA/prepare/commit/recover 协议,不能因为 Flink 支持就假定目标支持。
分别测 checkpoint 前/后失败、task 恢复、旧 checkpoint 重放、source binlog 截断、DDL 演进与坏记录。保留 checkpoint、源/目标水位、主键和所有字段 oracle,避免通过清空 state 掩盖恢复错误。
Trino:联邦读取与可下推性¶
配置 Trino MySQL catalog 访问 MatrixOne 时,记录服务器/plugin/JDBC 版本、connection-url 与凭据注入方式;先确认真实 coordinator/worker 执行了查询。元数据发现、类型映射、predicate/aggregate/join pushdown 分开检查,用 EXPLAIN 和数据库端实际 SQL 对照。客户端能连端口不算 Trino runtime 验证。
UInt64、Decimal65、TIME 和宽日期在联邦类型系统中另验;CAST 规避默认映射时标记适配。跨 catalog JOIN 对各源的快照、NULL 与字符比较不自动一致。读联邦不代表写联邦事务,prepared 新 runner 也不代表已认证。吞吐与压力测量保留查询 plan、远端扫描行数/字节、连接数、spill、延迟和积压。