TAE 存储布局与 MVCC

实现基线为 v4.2.5。TN 上的 TAE 管理事务、Catalog/MVCC、对象、WAL 与后台任务;CN 上的 DistTAE 管理事务工作区、同步状态和分布式读取。

读写的数据单位

单位

作用

阅读入口

Vector / Batch

算子交换列向量与批数据

pkg/container/vector、batch

Block

对象内的列式数据块、行定位基础

pkg/objectio/block.go、block_info.go

Object

不可变持久化数据及元数据载体

pkg/objectio/object_stats.go、reader.go

Tombstone

删除信息及其持久化载体

TAE 数据对象及 CN 删除合并路径

Catalog / MVCC

库表、Schema、对象的事务生命周期

pkg/vm/engine/tae/catalog、txn

历史三层 LSM、Segment 图可用作背景,不能替代当前 Object/Tombstone 生命周期;Column Family DDL 切换行列存也不作为本版本可用功能。实际对象大小、块行数和 Merge 策略须核对配置及实现。

写入与删除

CN workspace → TN 事务准备 → WAL → 提交
       │             │
       └→ 批量对象   └→ 内存/对象状态 → Logtail
                            │
                            └→ Flush / Merge / Checkpoint

小写入可在内存保存已提交数据;批量写入可由 CN 产生对象。对象上传本身不等于事务提交。UPDATE 在执行链路中可分解成删除和插入;读者应跟踪行标识、主键去重与删除信息,而不是假定对象文件原地改写。

快照读取

一次读取需要按事务时间戳选择可见对象,读取列块,结合内存行、Tombstone 和 workspace。某对象被 Merge 替换后,旧快照是否仍能读取由 MVCC 与保留条件决定;旧对象不能按新查询是否使用它直接删除。

关键不变量:布局变更不改变对应 SQL 快照的逻辑结果。对象索引/ZoneMap 可以帮助过滤,不能独立完成所有事务可见性与主键约束检查。

Flush、Merge 与资源

Flush 将适当的内存数据/删除信息持久化;Merge 重组对象,处理排序、删除和元数据替换;Checkpoint 保存恢复起点所需的信息。它们涉及不同队列、事务和 I/O,后台完成时间不能由一次 COMMIT 推断。

高删除比例、很多小对象、对象范围重叠、长事务或保护历史都可能影响扫描和回收。先观察扫描对象/块、读取字节、删除信息和后台任务,避免只根据行数猜测磁盘占用。

故障与诊断

提交慢区分锁/去重、WAL 和准备;读取慢区分计划过滤、删除合并、缓存与对象 I/O;空间不释放区分 Merge 未完成、GC 进度与历史保护;重启慢区分检查点加载和 WAL 回放。保留对应事务、表、对象 ID 和时间范围。

相关机制:WAL、Logtail、事务与锁。2022 年 RFC 是历史设计材料,不能当作当前能力清单。

源码与回归入口