DataX 实际源表扫描与精确类型写入

固定运行版本

本轮验证 DataX 3 的 mysqlreader/mysqlwriter、内置 Connector/J 5.1.47、Groovy 2.1.9 和 Temurin Java 8。既有DataX 教程使用额外的 matrixonewriter;本页验证的是内置 mysqlwriter,两条路径需要分别验收。

Java 21 下原生任务在 Groovy 初始化阶段失败,两种目标均失败;最小 Groovy 探针复现 java.lang.Object.finalize 的模块访问异常。切换 Java 8 后新增 20 个 tinyint append case 全部通过,保留原 20 个失败记录。不要把“JDK 8+”理解为所有新 JDK 都兼容。

内置 Connector/J 5.1.47 还要求 MySQL 源端使用该驱动能够处理的认证方式。若源端认证插件与驱动不兼容,应单独验证更新的 Connector/J,或使用认证方式兼容的隔离测试账户;不要为了单个测试修改服务端全局认证设置。任务结果需要记录驱动和账户认证方式。

实际源表与目标表

按连接与样例配置独立测试库。源端是 MySQL,目标端是 MatrixOne;两端分别创建下面的表,只在源端插入数据。设置 SRC_JDBC_URL/SRC_USER/SRC_PASSWORD 和 MO_JDBC_URL/MO_USER/MO_PASSWORD;URL 指向各自测试库,固定 UTF-8 和 UTC。示例的本地明文连接不能代替生产 TLS 验证。

CREATE TABLE native_demo (
  id BIGINT PRIMARY KEY,
  amount DECIMAL(38,18), biguint BIGINT UNSIGNED,
  payload VARBINARY(256), ts DATETIME(6), elapsed TIME(6), label VARCHAR(256)
);
INSERT INTO native_demo VALUES
  (1,12345678901234567890.123456789012345678,18446744073709551615,
   X'00FF80','2024-02-29 12:00:00.123456','-00:00:00.000001','中文😀'),
  (2,NULL,NULL,NULL,NULL,NULL,NULL),
  (3,0,9007199254740993,X'','1970-01-01 00:00:00','37:00:00.999999','');

生成并执行任务

下例先写文本 staging 表,再由显式 SQL 转换进入最终表,二进制采用 Base64 解码;去掉 MySQL TO_BASE64 的换行,保留 NULL 与空字节的区别。属于可逆适配,不表示默认 DateColumn 能保存微秒或扩展 TIME。将 Python 代码保存为 make_datax_job.py。

CREATE TABLE native_demo_stage (
  id BIGINT PRIMARY KEY, amount VARCHAR(128), biguint VARCHAR(32),
  payload VARBINARY(256), ts VARCHAR(32), elapsed VARCHAR(32), label VARCHAR(256)
);
import json, os
from pathlib import Path

query = """SELECT id, CAST(amount AS CHAR) AS amount,
  CAST(biguint AS CHAR) AS biguint,
  REPLACE(TO_BASE64(payload), CHAR(10), '') AS payload,
  CAST(ts AS CHAR) AS ts, CAST(elapsed AS CHAR) AS elapsed, label
  FROM native_demo WHERE id BETWEEN 1 AND 3"""
code = """if(record.getColumn(3).getRawData()!=null) {
  record.setColumn(3,new BytesColumn(
    java.util.Base64.getDecoder().decode(record.getColumn(3).asString())));
}
return record;"""
job = {"job": {"setting": {"speed": {"channel": 1},
                          "errorLimit": {"record": 0, "percentage": 0}},
  "content": [{
    "reader": {"name": "mysqlreader", "parameter": {
      "username": os.environ["SRC_USER"], "password": os.environ["SRC_PASSWORD"],
      "connection": [{"jdbcUrl": [os.environ["SRC_JDBC_URL"]], "querySql": [query]}]}},
    "writer": {"name": "mysqlwriter", "parameter": {
      "username": os.environ["MO_USER"], "password": os.environ["MO_PASSWORD"],
      "column": ["id", "amount", "biguint", "payload", "ts", "elapsed", "label"],
      "writeMode": "insert", "batchSize": 17,
      "connection": [{"jdbcUrl": os.environ["MO_JDBC_URL"], "table": ["native_demo_stage"]}]}},
    "transformer": [{"name": "dx_groovy", "parameter": {
      "code": code, "extraPackage": []}}]
  }]}}
path = Path("native-datax.json")
path.write_text(json.dumps(job, ensure_ascii=False), encoding="utf-8")
path.chmod(0o600)

若所用 Java 环境无法运行 Groovy,可另建文本 staging 适配路径:新表的列与上例相同,但把 payload VARBINARY(256) 换成 payload_b64 VARCHAR(512)。生成 job 时移除 transformer,将 writer 第四列改为 payload_b64,并将 writer 表指向新 staging 表;reader 保留 REPLACE(TO_BASE64(payload), CHAR(10), '')。DataX 确认零脏行后,在最终 INSERT ... SELECT 中使用 FROM_BASE64(payload_b64),其他 decimal 和时间字段仍按下文显式转换。分别核对 NULL、空字节和 X'00FF80'。此方法绕过 Groovy,但属于显式适配,不证明原始 binary 或时间绑定正确。

export JAVA_HOME=/path/to/verified/java8
export PATH="$JAVA_HOME/bin:$PATH"
java -version
python make_datax_job.py
python "$DATAX_HOME/bin/datax.py" -j '-Xms128m -Xmx512m' native-datax.json

验收与失败处理

DataX 写入 staging 后执行下面的转换,再核对最终表。直接把 CAST 文本写入 DATETIME 目标仍会丢失微秒;必须单独记录默认映射失败。成功行数必须等于 3,脏数据为 0;分别建立新连接执行以下查询并逐字段比较原始预期。只有计数相等不能证明精度正确。源端范围冻结后再增加 channel、batchSize 或 splitPk;本轮 querySql 扫描不证明 splitPk 切分正确。

INSERT INTO native_demo
SELECT id, CAST(amount AS DECIMAL(38,18)), CAST(biguint AS UNSIGNED),
       payload, CAST(ts AS DATETIME(6)), CAST(elapsed AS TIME(6)), label
FROM native_demo_stage;
SELECT id, CAST(amount AS CHAR), CAST(biguint AS CHAR), HEX(payload),
       CAST(ts AS CHAR), CAST(elapsed AS CHAR), label
FROM native_demo ORDER BY id;

insert 重跑会遇到主键冲突。DataX 离线追加不传播删除,也不自动协调跨任务事务;删除、目标 DDL、已提交分块的恢复应有独立的 staging/merge 与幂等协议。不要忽略脏数据来让任务变绿。

本轮实测边界

2026-10-13,MatrixOne commit 652c643666428f1c434e03369834f2a9bead7c27,独立 MySQL 8.4 源端/对照端。本组每 case 256 行,batch=17,Unicode 长标签;逐字段原始 oracle、独立连接回读及 typed 归档。表中每项同时覆盖 MatrixOne/MySQL 两个目标。

类型

路径

结果(两目标)

int64

text_adapter

通过

uint64

raw

通过

uint64

text_adapter

通过

decimal38_18

text_adapter

通过

decimal65_30

text_adapter

通过

varchar_utf8

text_adapter

通过

varbinary

text_adapter

通过

datetime6

raw

全值不一致

datetime6

text_adapter

全值不一致

time6

raw

执行失败

time6

text_adapter

执行失败

22 个实际表扫描 case 中 14 通过、4 个 DATETIME 全值失败、4 个 TIME 执行失败。DATETIME 原生 .123456 变成 .123000;源端文本 CAST 直接写时间目标变成 .000000。两个目标同样发生。补测的 4 个 VARCHAR staging + SQL CAST case 全部通过,包括 1000/9999 年边界、负微秒和 ±838 小时。该补测每 case 32 行,不能混入 256 行统计。

临时文件系统、有限窗口结果不用于磁盘吞吐、长稳、HA、分布式规模或跨系统 EOS 认证。证据归档与教程变更见文档跟踪 #428。