湖仓生态工具使用教程¶
先从连接与样例开始,再选择真实源/目标和执行工具。教程区分原生 API/runtime、显式 SQL/类型适配、官方 connector 阻断与待认证路径;工具版本或场景数量不是生产认证。每篇给出使用步骤及删除、模式、恢复和数据保真边界。
进一步运行:DataX 实际源表与类型、Spark JDBC 真实读写、Flink binlog、删除与 checkpoint 恢复。
选择教程¶
教程 |
内容 |
|---|---|
配置生态教程共用的连接与精确类型样例,建立可复现的逐字段验收。 |
|
使用预建表和显式类型进行 DataFrame/ETL 批量写入,区分追加、转换与 SQL 效果适配。 |
|
保留精确小数、二进制和微秒时间的文件桥接教程。 |
|
使用原生 Iceberg catalog 和 Arrow schema,说明精度映射、重复与提交边界。 |
|
配置官方 MySQL provider,执行事务写入与回读任务并验证重试边界。 |
|
配置真实 dbt 项目、table 模型和键测试,说明增量与删除边界。 |
|
分别配置真实 Shell/Python 路径和 MYSQL 数据源 SQL 任务,并验证恢复效果。 |
|
把 MatrixOne 作为 SDK 源读取,使用 upsert/update/delete/checkpoint 并进行进程级恢复。 |
|
运行官方 check/discover/read/write,区分目标 STATE ACK 与 SQL 适配器结果。 |
|
配置真实 ExecuteSQLRecord、Avro 和 PutDatabaseRecord,保留失败队列并检查 UPSERT。 |
|
配置 MySQL CDC 源和 MatrixOne JDBC 目标,检查 tombstone、类型和 offset 恢复。 |
|
运行 Kafka 输入到参数化 SQL 输出,验证删除、DLQ 和 offset 重放。 |
|
区分默认推断与 CAST/HEX 精确读取,检查 metadata、NULL 与方向边界。 |
|
运行官方 dlt SQLAlchemy 加载器,明确 Singer 自定义 target、精确封装和状态持久化。 |
|
扩展现有运行教程,统一精确类型、分区、删除、checkpoint 和负载验收。 |
验证与使用规则¶
先保存原始输入和预期值,再运行最小链路;新连接完整回读后才扩大批次、数据量和故障强度。部署到生产前重新核对目标 MatrixOne 发布版与每个工具版本,不把适配器成功替代官方 connector 失败。本文档源变更针对 latest,历史文档分支不自动更新。
依据与历史问题:生态验证 #29848,文档跟踪 #428。
- 准备连接、样例数据和验收基线
- pandas、PETL、Polars 和 Dask 批量写入
- PyArrow IPC 与 DuckDB Parquet 到 MatrixOne
- PyIceberg 表读写与显式 SQL 桥接
- Airflow MySqlHook DAG 与幂等重试
- dbt-mysql 模型构建与数据测试
- DolphinScheduler Shell 与原生 SQL 任务
- Fivetran 官方 Connector SDK 本地链路
- Airbyte 官方连接器协议与目标端验收
- NiFi Record 流与 MatrixOne JDBC 写入
- Kafka Connect、Debezium 与 JDBC CDC 目标
- Redpanda Connect 与 kafka-python 精确事件写入
- ConnectorX、Ibis 与数据库驱动读取保真
- dlt 加载与 Singer 状态协议适配
- DataX、SeaTunnel、Spark、Flink 与 Trino 的任务验收
- DataX 实际源表扫描与精确类型写入
- Spark JDBC 真实读写、类型与分区验收
- Flink 原生 MySQL CDC 到 MatrixOne 与恢复验收