WAL 与提交流水线¶
实现基线为 v4.2.5。WAL 保存重启恢复所需的事务命令和上下文;LogService 是其分布式后端。WAL 与 Logtail 的用途不同,后者负责 TN 到 CN 的可读状态同步。
提交流水线¶
事务工作区 → 准备/裁决 → 生成并追加 WAL
│
├→ 收集 Logtail
└→ 等待 WAL 与收集完成 → ApplyCommit → 完成提交
TxnManager.onWal 调用 PrepareWAL,onApply 通过 WaitWalAndTail 等待 WAL 完成后进入提交应用。队列允许多个事务及 I/O 重叠;它并不允许把“发送 WAL 请求”当成“WAL 已持久化”。批量数据对象也必须通过事务元数据提交才能成为可见数据。
三个独立进度¶
进度 |
含义 |
不代表什么 |
|---|---|---|
WAL 完成 |
必要恢复记录由后端成功处理 |
所有行数据已刷新成对象 |
Logtail 应用水位 |
CN 具备到对应时间戳的同步状态 |
外部客户端或 CDC 目标已提交 |
Checkpoint 完成 |
恢复信息和对象引用形成新的恢复起点 |
可以跳过保留保护而删除内部文件 |
LSN 是日志位置,事务时间戳是可见性/排序信息,二者不能互换。上层日志顺序与后端返回 LSN 的对应关系、截断进度和重放边界由 logstore 驱动管理。
后端、截断与恢复¶
日志后端提供追加、读取和截断接口。LogService 使用 Raft,多数派提交及应用后返回追加结果。截断需要安全恢复起点;不能仅以某事务返回成功或某 CN 消费完成推导日志可删除。
恢复先加载检查点信息,再处理仍需回放的 WAL 和事务命令,重建 Catalog、对象/MVCC 状态及必要的进度。日志损坏、缺对象或未知事务状态均应保留现场,不能用手工删除日志目录作为常规处理。
排查和验证¶
提交慢先区分锁等待、事务准备、WAL 等待、网络和后端多数派。记录事务 ID、时间戳、LSN、服务 ID、构建及存储错误。WaitWalAndTail 的等待点可以与事务指标、pprof 和恢复日志交叉检查。
一次恢复实验至少应在客户端确认提交后重启隔离的实验实例,并比较已提交行;还应覆盖未提交修改和重复重启。普通 SQL 通过只验证语句,不验证崩溃持久性。