TAE 存储布局与 MVCC¶
实现基线为 v4.2.5。TN 上的 TAE 管理事务、Catalog/MVCC、对象、WAL 与后台任务;CN 上的 DistTAE 管理事务工作区、同步状态和分布式读取。
读写的数据单位¶
单位 |
作用 |
阅读入口 |
|---|---|---|
Vector / Batch |
算子交换列向量与批数据 |
|
Block |
对象内的列式数据块、行定位基础 |
|
Object |
不可变持久化数据及元数据载体 |
|
Tombstone |
删除信息及其持久化载体 |
TAE 数据对象及 CN 删除合并路径 |
Catalog / MVCC |
库表、Schema、对象的事务生命周期 |
|
历史三层 LSM、Segment 图可用作背景,不能替代当前 Object/Tombstone 生命周期;Column Family DDL 切换行列存也不作为本版本可用功能。实际对象大小、块行数和 Merge 策略须核对配置及实现。
写入与删除¶
CN workspace → TN 事务准备 → WAL → 提交
│ │
└→ 批量对象 └→ 内存/对象状态 → Logtail
│
└→ Flush / Merge / Checkpoint
小写入可在内存保存已提交数据;批量写入可由 CN 产生对象。对象上传本身不等于事务提交。UPDATE 在执行链路中可分解成删除和插入;读者应跟踪行标识、主键去重与删除信息,而不是假定对象文件原地改写。
快照读取¶
一次读取需要按事务时间戳选择可见对象,读取列块,结合内存行、Tombstone 和 workspace。某对象被 Merge 替换后,旧快照是否仍能读取由 MVCC 与保留条件决定;旧对象不能按新查询是否使用它直接删除。
关键不变量:布局变更不改变对应 SQL 快照的逻辑结果。对象索引/ZoneMap 可以帮助过滤,不能独立完成所有事务可见性与主键约束检查。
Flush、Merge 与资源¶
Flush 将适当的内存数据/删除信息持久化;Merge 重组对象,处理排序、删除和元数据替换;Checkpoint 保存恢复起点所需的信息。它们涉及不同队列、事务和 I/O,后台完成时间不能由一次 COMMIT 推断。
高删除比例、很多小对象、对象范围重叠、长事务或保护历史都可能影响扫描和回收。先观察扫描对象/块、读取字节、删除信息和后台任务,避免只根据行数猜测磁盘占用。
故障与诊断¶
提交慢区分锁/去重、WAL 和准备;读取慢区分计划过滤、删除合并、缓存与对象 I/O;空间不释放区分 Merge 未完成、GC 进度与历史保护;重启慢区分检查点加载和 WAL 回放。保留对应事务、表、对象 ID 和时间范围。