WAL 与提交流水线

实现基线为 v4.2.5。WAL 保存重启恢复所需的事务命令和上下文;LogService 是其分布式后端。WAL 与 Logtail 的用途不同,后者负责 TN 到 CN 的可读状态同步。

提交流水线

事务工作区 → 准备/裁决 → 生成并追加 WAL
                            │
                            ├→ 收集 Logtail
                            └→ 等待 WAL 与收集完成 → ApplyCommit → 完成提交

TxnManager.onWal 调用 PrepareWAL,onApply 通过 WaitWalAndTail 等待 WAL 完成后进入提交应用。队列允许多个事务及 I/O 重叠;它并不允许把“发送 WAL 请求”当成“WAL 已持久化”。批量数据对象也必须通过事务元数据提交才能成为可见数据。

三个独立进度

进度

含义

不代表什么

WAL 完成

必要恢复记录由后端成功处理

所有行数据已刷新成对象

Logtail 应用水位

CN 具备到对应时间戳的同步状态

外部客户端或 CDC 目标已提交

Checkpoint 完成

恢复信息和对象引用形成新的恢复起点

可以跳过保留保护而删除内部文件

LSN 是日志位置,事务时间戳是可见性/排序信息,二者不能互换。上层日志顺序与后端返回 LSN 的对应关系、截断进度和重放边界由 logstore 驱动管理。

后端、截断与恢复

日志后端提供追加、读取和截断接口。LogService 使用 Raft,多数派提交及应用后返回追加结果。截断需要安全恢复起点;不能仅以某事务返回成功或某 CN 消费完成推导日志可删除。

恢复先加载检查点信息,再处理仍需回放的 WAL 和事务命令,重建 Catalog、对象/MVCC 状态及必要的进度。日志损坏、缺对象或未知事务状态均应保留现场,不能用手工删除日志目录作为常规处理。

排查和验证

提交慢先区分锁等待、事务准备、WAL 等待、网络和后端多数派。记录事务 ID、时间戳、LSN、服务 ID、构建及存储错误。WaitWalAndTail 的等待点可以与事务指标、pprof 和恢复日志交叉检查。

一次恢复实验至少应在客户端确认提交后重启隔离的实验实例,并比较已提交行;还应覆盖未提交修改和重复重启。普通 SQL 通过只验证语句,不验证崩溃持久性。

源码与回归入口