摄取链路的故障恢复

目的端数值与持久化源进度一致,才能说明恢复完成。task 重启或批次被确认,本身不足以建立该结论。需要针对验证生态接入链路中记录的实际连接器和 sink 检查。

定义投递与效果语义

at-least-once 投递可能重放事件。幂等效果重复执行后产生相同结果,例如对同一个键覆盖固定值。余额累加或追加审计记录并不天然幂等。

exactly-once 效果需要持久化协议覆盖事件身份、去重、业务效果和进度。sink 内部事务不能自动原子提交独立源系统的 offset。应说明哪些故障窗口由事务耦合处理,哪些由重放和去重处理。

故障窗口

恢复验收

目的端提交之前

没有部分业务效果,事件仍可重试。

已提交但 ACK 或 offset 尚未持久化

重放不重复产生非幂等效果。

源进度已经推进

每个已确认事件都有必要的持久化效果,没有跳过事件。

重平衡或并发重试期间

新 owner 接管后,旧 worker 不能覆盖进度或提交过期效果。

保留期已过

识别缺口并对账或重新全量,不对缺失历史报告增量恢复成功。

建立 sink 内部事务契约

自定义 sink 可以考虑将事件 ledger、业务效果和 sink 内部 checkpoint 放入同一事务。下面是需要针对实际隔离级别验证的设计模式,不是所有连接器的内置保证:

开始事务
  验证 worker 仍拥有对应分区 generation
  根据稳定事件身份检查去重 ledger
  如果事件尚未处理:
    应用业务效果
    记录事件身份和结果
  只推进连续已处理前缀对应的 sink 内部 checkpoint
提交事务
确认或持久化外部源进度

并发 worker 需要经过验证的唯一性/冲突协议和 fencing generation。较早事件尚未处理时,不能根据观察到的最大 offset 推进进度。提交确认丢失后需要核对 ledger 和业务效果。连接器缺少该契约时,应直接说明投递及幂等行为,不标记为 exactly-once。

相关历史请求见 event-ledger/checkpoint。恒值 UPSERT 重放只是一种检查,还应验证累加、追加等非幂等效果。

验证删除与顺序

明确源删除如何映射为目的 tombstone 或物理删除。检查删除重放安全、不依赖删除整张目的表,且后续合法插入仍能保留。

对同一键测试插入、更新、删除、重复删除和删除后重插,然后延迟投递一个较旧更新。明确链路保持源顺序还是使用事件版本拒绝旧事件。旧更新被重放时,不应无条件恢复已经删除的行。

验证模式变更

验证加列前后的写入,包含 NULL 和显式默认值。检查既有行是否得到预期值,组件是否刷新模式元数据。

扩宽、重命名和删列分别验证。sink 能生成 ADD COLUMN, 不代表它支持这些变更。目的 DDL 由外部步骤执行时,说明部署顺序并与自动源到目的演进分开。部分数据库或连接器不能将 DDL 和数据变化放在同一个原子操作中。

检查实际运行时

组件

需要检查的恢复边界

Airbyte

官方 destination STATE ACK 在必要记录持久化之后发生; 适配器状态不认证官方 destination。

Kafka Connect 与 JDBC sink

task 错误、生成 DDL、offset、重平衡和提交确认丢失; 重启 task 不等于对账完成。

NiFi

success/retry/failure 路由、FlowFile 队列、事务回滚和背压; 在处置验收前保留失败记录。

Airflow 与 DolphinScheduler

worker 失败应反映为 DAG/task 失败; 重试从持久化状态恢复且不重复非幂等效果。

Fivetran Connector SDK

在新的本地执行中验证 upsert/update/delete 与 checkpoint; 本地执行不建立托管服务语义。

dbt

重跑预定增量物化,包括删除和模式变化; 全量重建可能掩盖增量恢复错误。

Singer 与 dlt

源 cursor/state、目的提交和 merge 结果; 区分协议或 SQL 适配与原生行为。

MatrixOne 原生 CDC 需要遵循对应手册的 PITR/GC 保留期要求。已超出变更历史保留期时,重启不能被当作能够重放所有中间操作。原生 CDC 与 MySQL binlog 链路需要分别验证。

保存可复现的恢复记录

注入故障前,保存版本、事件身份、操作序列、分区/顺序、模式和期望值。每个恢复步骤后保留源状态、目的行、ledger/checkpoint、组件日志和失败记录。使用新连接比较完整值及重复次数。

报告故障次数、注入点、是否终止真实进程以及哪个组件完成恢复。大量参数化 case 不能代替这些故障检查。长稳或性能验证需要另外记录时长、内存、存储、积压和延迟。