Logtail 同步与可见性

实现基线为 v4.2.5。Logtail 由 TN/TAE 提供,供 CN 重建与时间戳相关的可读状态;它不是持久化 WAL 的别名。

内容与读取

同步内容包含已提交插入/删除、事务时间戳、对象及删除对象元数据、检查点位置等。CN 组织 PartitionState,按快照选择可见对象,并合并内存数据和删除信息。对象已刷新不意味着其后续删除都在同一对象中。

首次订阅和增量

CN 请求表与 [已有时间戳, 目标时间戳]
  → TN 收集覆盖区间的 Checkpoint 位置
  → 若 Checkpoint 已覆盖目标,返回 Checkpoint
  → 否则从覆盖终点之后收集剩余增量
  → CN 加载、应用,再推进可读状态

HandleSyncLogTailReq 使用 CollectCheckpointsInRange,根据覆盖终点决定是否只返回检查点或同时返回增量。不能仅以“订阅时间戳大于检查点时间戳”概括所有情况。当前表响应构建访问 catalog.ObjectEntry,历史 Segment/Block 回调接口不作为 v4.2.5 API。

Push 路径在表订阅后提供增量。系统表/Catalog 订阅、普通表订阅和重连都涉及状态建立。没有行更新时仍需通过进度/心跳推进水位;频率取决于实现及配置,不作为延迟 SLA。

可见性不变量

事务使用的快照必须有所需同步状态。提交时间、目标快照和已应用水位分别记录;客户端收到提交成功不表示每个 CN 已应用该修改。事务自己的 workspace 还须参与读取。

断线、重订阅和内存

Stream 断开需要恢复订阅与状态,不能仅因 TCP 重连就宣布数据已追平。Flush/Merge 元数据和删除信息决定何时可以丢弃先前内存条目;按照文件存在或墙上时钟清理会破坏历史可见性。

排查“另一个 CN 未见写入”时,先确认源事务提交和目标表/连接,再看订阅、目标快照、水位与重连日志,最后检查对象读取错误。慢订阅还须区分 Checkpoint 加载和增量构建;保留表 ID、请求时间范围与响应大小。

源码与回归入口