Spark JDBC 真实读写、类型与分区验收

固定版本与分区

本轮使用 PySpark 3.5.7、Temurin Java 17、Connector/J 8.4.0。20 个原生 tinyint append case 通过,每次 2 个 JDBC 写分区、batchsize=17。该窗口只有 append 和有限数据规模;时间、宽 DECIMAL、读取和重试需要下面的独立验收。

准备实际表

按连接与样例配置独立测试库。源端是 MySQL,目标端是 MatrixOne;两端分别创建下面的表,只在源端插入数据。设置 SRC_JDBC_URL/SRC_USER/SRC_PASSWORD 和 MO_JDBC_URL/MO_USER/MO_PASSWORD;URL 指向各自测试库,固定 UTF-8 和 UTC。示例的本地明文连接不能代替生产 TLS 验证。

CREATE TABLE native_demo (
  id BIGINT PRIMARY KEY,
  amount DECIMAL(38,18), biguint BIGINT UNSIGNED,
  payload VARBINARY(256), ts DATETIME(6), elapsed TIME(6), label VARCHAR(256)
);
INSERT INTO native_demo VALUES
  (1,12345678901234567890.123456789012345678,18446744073709551615,
   X'00FF80','2024-02-29 12:00:00.123456','-00:00:00.000001','中文😀'),
  (2,NULL,NULL,NULL,NULL,NULL,NULL),
  (3,0,9007199254740993,X'','1970-01-01 00:00:00','37:00:00.999999','');

读取、转换并写入

设置 MO_JDBC_JAR 为已核对版本的驱动路径。下例使用真正的 JDBC reader、2 个读取分区及 2 个写分区;CAST 与 Base64 是显式适配。DecimalType 最大精度为 38,SQL DECIMAL(65,30) 必须独立测试默认映射。TIME 超过 24 小时或负值不能当作普通时钟时间。

import os
from pyspark.sql import SparkSession, functions as F

spark = (SparkSession.builder.appName("matrixone-native-scan")
         .config("spark.jars", os.environ["MO_JDBC_JAR"])
         .config("spark.sql.session.timeZone", "UTC").getOrCreate())
try:
    query = """SELECT id, CAST(amount AS CHAR) AS amount,
      CAST(biguint AS CHAR) AS biguint,
      REPLACE(TO_BASE64(payload), CHAR(10), '') AS payload,
      CAST(ts AS CHAR) AS ts, CAST(elapsed AS CHAR) AS elapsed, label
      FROM native_demo WHERE id BETWEEN 1 AND 3"""
    frame = (spark.read.format("jdbc")
             .option("url", os.environ["SRC_JDBC_URL"])
             .option("dbtable", "(" + query + ") fixture")
             .option("driver", "com.mysql.cj.jdbc.Driver")
             .option("user", os.environ["SRC_USER"])
             .option("password", os.environ["SRC_PASSWORD"])
             .option("partitionColumn", "id")
             .option("lowerBound", "1").option("upperBound", "4")
             .option("numPartitions", "2").option("fetchsize", "17").load())
    frame = frame.withColumn("payload", F.unbase64("payload"))
    (frame.repartition(2).write.format("jdbc")
     .option("url", os.environ["MO_JDBC_URL"]).option("dbtable", "native_demo")
     .option("driver", "com.mysql.cj.jdbc.Driver")
     .option("user", os.environ["MO_USER"]).option("password", os.environ["MO_PASSWORD"])
     .option("batchsize", "17").option("numPartitions", "2")
     .option("isolationLevel", "READ_COMMITTED").mode("append").save())
finally:
    spark.stop()

核对分区覆盖与保真

读取的 lowerBound/upperBound 计算分区步长,不能代替 WHERE 过滤。上面的子查询显式限制数据范围;另行覆盖 NULL 分区键、边界键及源端并发更新。通过新连接逐字段核对以下结果,保留任务阶段与失败前已提交分区。

SELECT id, CAST(amount AS CHAR), CAST(biguint AS CHAR), HEX(payload),
       CAST(ts AS CHAR), CAST(elapsed AS CHAR), label
FROM native_demo ORDER BY id;

写分区各自提交,部分分区失败不意味着整个追加已经回滚。任务重试和推测执行可能重放;不能把分区成功或最终主键去重称为 exactly-once。默认映射失败时保留原失败,再记录独立转换后的 case。删除与目标模式变更需要独立协议,批量 DataFrame 写入不是 CDC。

本轮实测边界

2026-10-13,MatrixOne commit 652c643666428f1c434e03369834f2a9bead7c27,独立 MySQL 8.4 源端/对照端。本组每 case 256 行,batch=17,Unicode 长标签;逐字段原始 oracle、独立连接回读及 typed 归档。表中每项同时覆盖 MatrixOne/MySQL 两个目标。

类型

路径

结果(两目标)

int64

text_adapter

通过

uint64

text_adapter

通过

decimal38_18

raw

通过

decimal38_18

text_adapter

通过

decimal65_30

raw

执行失败

decimal65_30

text_adapter

通过

varchar_utf8

text_adapter

通过

varbinary

text_adapter

通过

datetime6

raw

通过

datetime6

text_adapter

通过

time6

raw

执行失败

time6

text_adapter

通过

24 个实际读写 case 中 20 通过、4 失败。DECIMAL(65,30) 的默认映射超出 Spark DecimalType 最大精度;扩展 TIME 在 Connector/J 默认时钟时间转换中失败,两个目标均受源端读取阻断。对应显式文本路径通过,DATETIME(6) 原生路径也通过本轮边界值。保留失败记录,不把适配成功记作默认映射成功。

临时文件系统、有限窗口结果不用于磁盘吞吐、长稳、HA、分布式规模或跨系统 EOS 认证。证据归档与教程变更见文档跟踪 #428。