Iceberg¶
本页是 MatrixOne 与 Iceberg 相关文档的集中索引。你可以从入门教程开始,再按需查看目录管理、外部表、数据读写和生态集成说明。
快速开始¶
用 MatrixOne 读写 Iceberg 订单表:使用 Nessie、MinIO 和 Spark 的本地端到端教程。
CREATE ICEBERG CATALOG:注册 REST Catalog 并了解访问前置条件。
CREATE EXTERNAL TABLE:将 Catalog 中的表映射为 MatrixOne 外部表。
管理 Catalog 和表映射¶
ALTER ICEBERG CATALOG:修改 Catalog 连接选项。
DROP ICEBERG CATALOG:删除 Catalog;删除前需先处理依赖的表映射。
SHOW ICEBERG CATALOGS:查看已注册的 Catalog。
SHOW ICEBERG NAMESPACES:查看 Catalog 中的 Namespace。
SHOW ICEBERG TABLES:查看 Iceberg 表映射。
例如,使用 SHOW ICEBERG TABLES FROM my_catalog.sales 查看指定 Catalog 和 Namespace 下的映射。SHOW ICEBERG NAMESPACES 和 SHOW ICEBERG TABLES 展示的是 MatrixOne 已注册的映射,不会发现远端 Catalog 中所有 Namespace 或表。
读取和写入数据¶
INSERT:插入数据,以及使用 Iceberg
INSERT OVERWRITE。UPDATE:更新可写 Iceberg 表映射中的数据。
DELETE:删除可写 Iceberg 表映射中的数据。
MERGE INTO:将源数据合并到 Iceberg 表映射。
Iceberg 删除与读取核对:在
merge_on_read映射上验证删除结果。
相关生态集成¶
PyIceberg 追加与扫描:显式 SQL 桥接:使用 PyIceberg 和显式 SQL 桥接;该流程与 MatrixOne 原生 Iceberg 外部表集成不同。
PyIceberg 示例使用本地 SQLite Catalog 和文件 warehouse,再通过 DBAPI 将扫描结果写入 MatrixOne。Iceberg 追加和 SQL 写入是两个独立操作,不构成一个原子事务。
适用范围、配置与 Schema 说明¶
发布说明从 MatrixOne v4.2.0 开始介绍原生 Iceberg 集成。订单教程适用于 v4.2.0 或更高版本,并演示 Nessie、MinIO 和 MatrixOne 在同一台机器上的本地 Tier A 环境;它不是生产部署方案。参见 v26.4.2.0 发布说明。
CREATE ICEBERG CATALOG配置 REST Catalog 的uri,也可以配置warehouse位置。访问过程还会记录主体映射和数据驻留策略,并指定 endpoint、region、bucket。文档没有给出 Catalog 与对象存储分别使用不同端点或凭据时的通用配置流程。Catalog 参考页记录的认证配置包括默认值为
none的auth_mode,以及供令牌认证使用的 secret 引用。文档没有列出所有受支持的认证模式,也没有说明对象存储凭据的配置方式;请按实际 Catalog 和存储服务确认。访问策略与表写入模式作用不同:
iceberg_register_access注册主体映射和数据驻留策略;外表write_mode默认为read_only,文档列出的可写模式为append_only和merge_on_read。读取、写入、DML 和删除开关是另外的前置条件。文档没有描述 Catalog 级别的只读策略选项。删除验证教程使用
merge_on_read映射。基础订单教程使用append_only,删除教程明确说明不能通过该映射执行DELETE;打开 DML 开关不会改变表写入模式的限制。CREATE EXTERNAL TABLE中的[db.]table_name是 MatrixOne 本地表名;ENGINE = ICEBERG选项中的catalog、namespace和table指向远端表,因此两边名称可以分别指定。外表列必须显式声明,MatrixOne 不会自动读取远端 Schema。文档没有提供完整的 Iceberg 到 MatrixOne 类型兼容表,也没有说明自动比较远端 Schema 的命令。如果 Catalog 访问被拒绝,请检查 Catalog 是否已创建,以及
iceberg_register_access是否按部署允许的 endpoint、region 和 bucket 注册了主体映射与数据驻留策略。本地教程还用curl检查 Nessie REST 服务,并通过 MySQL 客户端执行SELECT 1;文档没有提供通用的生产环境远端错误排查流程。删除 MatrixOne 外表映射、数据库或 Catalog 只会清理 MatrixOne 中的演示元数据,不会删除远端 Iceberg 表或数据。清理远端数据前请单独检查。
Iceberg 的行为和设置可能随 MatrixOne 版本及部署方式而异。请遵循具体教程和 SQL 参考页标注的适用范围与前置条件。