湖仓生态工具使用教程

先从连接与样例开始,再选择真实源/目标和执行工具。教程区分原生 API/runtime、显式 SQL/类型适配、官方 connector 阻断与待认证路径;工具版本或场景数量不是生产认证。每篇给出使用步骤及删除、模式、恢复和数据保真边界。

进一步运行:DataX 实际源表与类型、Spark JDBC 真实读写、Flink binlog、删除与 checkpoint 恢复。

选择教程

教程

内容

准备连接、样例数据和验收基线

配置生态教程共用的连接与精确类型样例,建立可复现的逐字段验收。

pandas、PETL、Polars 和 Dask 批量写入

使用预建表和显式类型进行 DataFrame/ETL 批量写入,区分追加、转换与 SQL 效果适配。

PyArrow IPC 与 DuckDB Parquet 到 MatrixOne

保留精确小数、二进制和微秒时间的文件桥接教程。

PyIceberg 表读写与显式 SQL 桥接

使用原生 Iceberg catalog 和 Arrow schema,说明精度映射、重复与提交边界。

Airflow MySqlHook DAG 与幂等重试

配置官方 MySQL provider,执行事务写入与回读任务并验证重试边界。

dbt-mysql 模型构建与数据测试

配置真实 dbt 项目、table 模型和键测试,说明增量与删除边界。

DolphinScheduler Shell 与原生 SQL 任务

分别配置真实 Shell/Python 路径和 MYSQL 数据源 SQL 任务,并验证恢复效果。

Fivetran 官方 Connector SDK 本地链路

把 MatrixOne 作为 SDK 源读取,使用 upsert/update/delete/checkpoint 并进行进程级恢复。

Airbyte 官方连接器协议与目标端验收

运行官方 check/discover/read/write,区分目标 STATE ACK 与 SQL 适配器结果。

NiFi Record 流与 MatrixOne JDBC 写入

配置真实 ExecuteSQLRecord、Avro 和 PutDatabaseRecord,保留失败队列并检查 UPSERT。

Kafka Connect、Debezium 与 JDBC CDC 目标

配置 MySQL CDC 源和 MatrixOne JDBC 目标,检查 tombstone、类型和 offset 恢复。

Redpanda Connect 与 kafka-python 精确事件写入

运行 Kafka 输入到参数化 SQL 输出,验证删除、DLQ 和 offset 重放。

ConnectorX、Ibis 与数据库驱动读取保真

区分默认推断与 CAST/HEX 精确读取,检查 metadata、NULL 与方向边界。

dlt 加载与 Singer 状态协议适配

运行官方 dlt SQLAlchemy 加载器,明确 Singer 自定义 target、精确封装和状态持久化。

DataX、SeaTunnel、Spark、Flink 与 Trino 的任务验收

扩展现有运行教程,统一精确类型、分区、删除、checkpoint 和负载验收。

验证与使用规则

先保存原始输入和预期值,再运行最小链路;新连接完整回读后才扩大批次、数据量和故障强度。部署到生产前重新核对目标 MatrixOne 发布版与每个工具版本,不把适配器成功替代官方 connector 失败。本文档源变更针对 latest,历史文档分支不自动更新。

依据与历史问题:生态验证 #29848,文档跟踪 #428。