摄取链路的故障恢复¶
目的端数值与持久化源进度一致,才能说明恢复完成。task 重启或批次被确认,本身不足以建立该结论。需要针对验证生态接入链路中记录的实际连接器和 sink 检查。
定义投递与效果语义¶
at-least-once 投递可能重放事件。幂等效果重复执行后产生相同结果,例如对同一个键覆盖固定值。余额累加或追加审计记录并不天然幂等。
exactly-once 效果需要持久化协议覆盖事件身份、去重、业务效果和进度。sink 内部事务不能自动原子提交独立源系统的 offset。应说明哪些故障窗口由事务耦合处理,哪些由重放和去重处理。
故障窗口 |
恢复验收 |
|---|---|
目的端提交之前 |
没有部分业务效果,事件仍可重试。 |
已提交但 ACK 或 offset 尚未持久化 |
重放不重复产生非幂等效果。 |
源进度已经推进 |
每个已确认事件都有必要的持久化效果,没有跳过事件。 |
重平衡或并发重试期间 |
新 owner 接管后,旧 worker 不能覆盖进度或提交过期效果。 |
保留期已过 |
识别缺口并对账或重新全量,不对缺失历史报告增量恢复成功。 |
建立 sink 内部事务契约¶
自定义 sink 可以考虑将事件 ledger、业务效果和 sink 内部 checkpoint 放入同一事务。下面是需要针对实际隔离级别验证的设计模式,不是所有连接器的内置保证:
开始事务
验证 worker 仍拥有对应分区 generation
根据稳定事件身份检查去重 ledger
如果事件尚未处理:
应用业务效果
记录事件身份和结果
只推进连续已处理前缀对应的 sink 内部 checkpoint
提交事务
确认或持久化外部源进度
并发 worker 需要经过验证的唯一性/冲突协议和 fencing generation。较早事件尚未处理时,不能根据观察到的最大 offset 推进进度。提交确认丢失后需要核对 ledger 和业务效果。连接器缺少该契约时,应直接说明投递及幂等行为,不标记为 exactly-once。
相关历史请求见 event-ledger/checkpoint。恒值 UPSERT 重放只是一种检查,还应验证累加、追加等非幂等效果。
验证删除与顺序¶
明确源删除如何映射为目的 tombstone 或物理删除。检查删除重放安全、不依赖删除整张目的表,且后续合法插入仍能保留。
对同一键测试插入、更新、删除、重复删除和删除后重插,然后延迟投递一个较旧更新。明确链路保持源顺序还是使用事件版本拒绝旧事件。旧更新被重放时,不应无条件恢复已经删除的行。
验证模式变更¶
验证加列前后的写入,包含 NULL 和显式默认值。检查既有行是否得到预期值,组件是否刷新模式元数据。
扩宽、重命名和删列分别验证。sink 能生成 ADD COLUMN, 不代表它支持这些变更。目的 DDL 由外部步骤执行时,说明部署顺序并与自动源到目的演进分开。部分数据库或连接器不能将 DDL 和数据变化放在同一个原子操作中。
检查实际运行时¶
组件 |
需要检查的恢复边界 |
|---|---|
Airbyte |
官方 destination STATE ACK 在必要记录持久化之后发生; 适配器状态不认证官方 destination。 |
Kafka Connect 与 JDBC sink |
task 错误、生成 DDL、offset、重平衡和提交确认丢失; 重启 task 不等于对账完成。 |
NiFi |
success/retry/failure 路由、FlowFile 队列、事务回滚和背压; 在处置验收前保留失败记录。 |
Airflow 与 DolphinScheduler |
worker 失败应反映为 DAG/task 失败; 重试从持久化状态恢复且不重复非幂等效果。 |
Fivetran Connector SDK |
在新的本地执行中验证 upsert/update/delete 与 checkpoint; 本地执行不建立托管服务语义。 |
dbt |
重跑预定增量物化,包括删除和模式变化; 全量重建可能掩盖增量恢复错误。 |
Singer 与 dlt |
源 cursor/state、目的提交和 merge 结果; 区分协议或 SQL 适配与原生行为。 |
MatrixOne 原生 CDC 需要遵循对应手册的 PITR/GC 保留期要求。已超出变更历史保留期时,重启不能被当作能够重放所有中间操作。原生 CDC 与 MySQL binlog 链路需要分别验证。
保存可复现的恢复记录¶
注入故障前,保存版本、事件身份、操作序列、分区/顺序、模式和期望值。每个恢复步骤后保留源状态、目的行、ledger/checkpoint、组件日志和失败记录。使用新连接比较完整值及重复次数。
报告故障次数、注入点、是否终止真实进程以及哪个组件完成恢复。大量参数化 case 不能代替这些故障检查。长稳或性能验证需要另外记录时长、内存、存储、积压和延迟。