Iceberg

本页是 MatrixOne 与 Iceberg 相关文档的集中索引。你可以从入门教程开始,再按需查看目录管理、外部表、数据读写和生态集成说明。

快速开始

管理 Catalog 和表映射

例如,使用 SHOW ICEBERG TABLES FROM my_catalog.sales 查看指定 Catalog 和 Namespace 下的映射。SHOW ICEBERG NAMESPACES 和 SHOW ICEBERG TABLES 展示的是 MatrixOne 已注册的映射,不会发现远端 Catalog 中所有 Namespace 或表。

读取和写入数据

  • INSERT:插入数据,以及使用 Iceberg INSERT OVERWRITE。

  • UPDATE:更新可写 Iceberg 表映射中的数据。

  • DELETE:删除可写 Iceberg 表映射中的数据。

  • MERGE INTO:将源数据合并到 Iceberg 表映射。

  • Iceberg 删除与读取核对:在 merge_on_read 映射上验证删除结果。

相关生态集成

PyIceberg 示例使用本地 SQLite Catalog 和文件 warehouse,再通过 DBAPI 将扫描结果写入 MatrixOne。Iceberg 追加和 SQL 写入是两个独立操作,不构成一个原子事务。

适用范围、配置与 Schema 说明

  • 发布说明从 MatrixOne v4.2.0 开始介绍原生 Iceberg 集成。订单教程适用于 v4.2.0 或更高版本,并演示 Nessie、MinIO 和 MatrixOne 在同一台机器上的本地 Tier A 环境;它不是生产部署方案。参见 v26.4.2.0 发布说明。

  • CREATE ICEBERG CATALOG 配置 REST Catalog 的 uri,也可以配置 warehouse 位置。访问过程还会记录主体映射和数据驻留策略,并指定 endpoint、region、bucket。文档没有给出 Catalog 与对象存储分别使用不同端点或凭据时的通用配置流程。

  • Catalog 参考页记录的认证配置包括默认值为 none 的 auth_mode,以及供令牌认证使用的 secret 引用。文档没有列出所有受支持的认证模式,也没有说明对象存储凭据的配置方式;请按实际 Catalog 和存储服务确认。

  • 访问策略与表写入模式作用不同:iceberg_register_access 注册主体映射和数据驻留策略;外表 write_mode 默认为 read_only,文档列出的可写模式为 append_only 和 merge_on_read。读取、写入、DML 和删除开关是另外的前置条件。文档没有描述 Catalog 级别的只读策略选项。

  • 删除验证教程使用 merge_on_read 映射。基础订单教程使用 append_only,删除教程明确说明不能通过该映射执行 DELETE;打开 DML 开关不会改变表写入模式的限制。

  • CREATE EXTERNAL TABLE 中的 [db.]table_name 是 MatrixOne 本地表名;ENGINE = ICEBERG 选项中的 catalog、namespace 和 table 指向远端表,因此两边名称可以分别指定。外表列必须显式声明,MatrixOne 不会自动读取远端 Schema。文档没有提供完整的 Iceberg 到 MatrixOne 类型兼容表,也没有说明自动比较远端 Schema 的命令。

  • 如果 Catalog 访问被拒绝,请检查 Catalog 是否已创建,以及 iceberg_register_access 是否按部署允许的 endpoint、region 和 bucket 注册了主体映射与数据驻留策略。本地教程还用 curl 检查 Nessie REST 服务,并通过 MySQL 客户端执行 SELECT 1;文档没有提供通用的生产环境远端错误排查流程。

  • 删除 MatrixOne 外表映射、数据库或 Catalog 只会清理 MatrixOne 中的演示元数据,不会删除远端 Iceberg 表或数据。清理远端数据前请单独检查。

Iceberg 的行为和设置可能随 MatrixOne 版本及部署方式而异。请遵循具体教程和 SQL 参考页标注的适用范围与前置条件。