NiFi Record 流与 MatrixOne JDBC 写入

版本、安装和源角色

参考 NiFi 2.4.0、JDK21,使用真实 processor flow 与 MySQL JDBC。先按 NiFi 管理指南 部署,安装 JDBC 驱动并使 worker 可读,完成共用样例。此前基线是 MySQL 源 Record 读取到 MatrixOne;源/目标分别配置 DBCP,不把成功写入当作所有读取源都已认证。

先使用 INSERT 的单次基线,随后单独探测 UPSERT。历史 MySQL UPSERT 对未变主键生成参数化赋值曾失败,见 matrixone#29850。此前显式 PutSQL/outbox 适配跑通与原生 PutDatabaseRecord UPSERT 的结果分开记录。

Controller Services

在同一 process group 建立以下 services,用参数上下文/敏感属性配置账户,不把密码放到 flow 导出文件。TLS 按 JDBC 版本配置;下例 URL 默认用于本机实验。

服务

配置

Source DBCPConnectionPool

MySQL 源 URL、com.mysql.cj.jdbc.Driver、驱动路径、源用户

MO DBCPConnectionPool

jdbc:mysql://127.0.0.1:6001/doc_lake?useUnicode=true&characterEncoding=UTF-8、驱动类、路径、目标用户

AvroRecordSetWriter

使用继承的 Record schema,保留 logical types

AvroReader

使用 Avro 内嵌 schema

先启用 services,再创建流程。DDL 在 MatrixOne 专用库初始化,首次源数据取共用样例的两个固定键。

CREATE DATABASE IF NOT EXISTS doc_lake;
USE doc_lake;
CREATE TABLE IF NOT EXISTS nifi_demo (id BIGINT PRIMARY KEY, amount DECIMAL(38,18), payload VARBINARY(256), label VARCHAR(256), rev BIGINT);
SELECT id,CAST(amount AS CHAR),HEX(payload),label,rev FROM nifi_demo ORDER BY id;

Processor 与连线

Processor

属性/操作

ExecuteSQLRecord

Source DBCP;AvroRecordSetWriter;SQL Query 为 SELECT id,amount,payload,label,rev FROM lake_demo WHERE id IN (2,9007199254740993) ORDER BY id;Use Avro Logical Types=true

PutDatabaseRecord

AvroReader;MO DBCP;Table Name=nifi_demo;Statement Type=INSERT;Database Type=MySQL;Update Keys=id(UPSERT/UPDATE 探测时)

连接 ExecuteSQLRecord success → PutDatabaseRecord。success 连接到完成队列,failure/retry 分别连接到保留的排障/重试队列,不要自动终止失败关系。设置显式 back pressure 和有限批大小,先用 Run Once 执行读取和写入,避免重复轮询引发 INSERT 主键冲突。

检查 processor VALID、bulletin、queue/provenance 和新 JDBC 连接回读。预期 id 9007199254740993、完整金额与 00FF80,以及 id 2 的 NULL/空值。

UPSERT、删除、状态与模式

基线通过后,将 Statement Type 改为 UPSERT,固定 Update Keys,修改源 label/rev 并单次重放。在受影响版本保留生成 SQL 与失败 FlowFile;修复上线后重测原生路径,不能用自建 SQL 的通过替代。显式 PutSQL 路径使用参数绑定和版本化映射,不拼接未经验证的载荷 SQL。

QueryDatabaseTableRecord 的最大值游标只跟踪所选列;对旧键的 UPDATE/DELETE 不保证被发现。可靠删除用事务 outbox/CDC 带 op/key/version,再用明确 DELETE/UPDATE/INSERT 应用。删除和更新含相同业务键时验证顺序,处理主键变更的旧键删除。

记录队列、processor state 和数据库提交;数据库提交与 FlowFile session ACK 的间隙可能重放,因此需要幂等或事件去重。新增字段需同步 Record schema、目标 DDL 和写映射,不能只修改源表。NiFi 重启回放的功能结果不等于仓库多副本持久性或端到端 exactly-once。