Redpanda Connect 与 kafka-python 精确事件写入

路径与前提

参考 Redpanda Connect 4.113.0:真实 kafka_franz input → sql_raw output → fallback Kafka DLQ;kafka-python 使用真实 producer/consumer API。验证过主键幂等、删除、故障重启、离线变更和协调新增列;不是 Redpanda 原生自动 DDL,也不是跨系统 exactly-once。

完成共用连接,准备可访问 Kafka 的输入 topic lake-events 与 DLQ lake-dlq,记录分区数/保留时间。安装 Redpanda Connect 和 kafka-python。本页写 lake_demo,示例键501;不要给业务库重放。SQL DSN 从密钥管理注入 MO_DSN,格式按所用 MySQL 驱动配置(示例形状 user:password@tcp(host:6001)/doc_lake),密码的特殊字符处理应单独确认。

运行配置

保存为 redpanda.yaml。事件中的64位整数/小数用字符串、二进制用 hex,NULL 仍为 JSON null。SQL 参数绑定不拼接业务值。这个示例单线程/单 in-flight 起步;同键多分区或多线程时必须另验顺序。

input:
  kafka_franz:
    seed_brokers: ["${KAFKA_BOOTSTRAP}"]
    topics: [lake-events]
    consumer_group: lake-demo-sink
    start_offset: earliest
    commit_period: 1s
    checkpoint_limit: 1
pipeline:
  threads: 1
output:
  fallback:
    - switch:
        cases:
          - check: 'this.op == "delete"'
            output:
              sql_raw:
                driver: mysql
                dsn: "${MO_DSN}"
                query: 'DELETE FROM lake_demo WHERE id=?'
                args_mapping: 'root = [this.id]'
                max_in_flight: 1
          - output:
              sql_raw:
                driver: mysql
                dsn: "${MO_DSN}"
                query: 'INSERT INTO lake_demo(id,amount,payload,label,rev) VALUES(?,?,UNHEX(?),?,?) ON DUPLICATE KEY UPDATE amount=VALUES(amount),payload=VALUES(payload),label=VALUES(label),rev=VALUES(rev)'
                args_mapping: 'root = [this.id,this.amount,this.binary_hex,this.label,this.rev]'
                max_in_flight: 1
    - kafka_franz:
        seed_brokers: ["${KAFKA_BOOTSTRAP}"]
        topic: lake-dlq
        key: '${! this.id }'
shutdown_timeout: 5s
redpanda-connect lint redpanda.yaml
redpanda-connect run redpanda.yaml

kafka-python 发送与验收

在另一个终端运行 producer。预期 id 501 的 amount 为 -1e-18、二进制 00FF80、Unicode 标签。再发送同键相同事件,目标应仍只有一行;发送 {"op":"delete","id":"501"} 应移除该键。第一次功能验证保留原始 topic 事件和发送 receipt。

import os, json
from kafka import KafkaProducer

p = KafkaProducer(bootstrap_servers=os.environ["KAFKA_BOOTSTRAP"],acks="all")
try:
    event = {"op":"upsert","id":"501","amount":"-0.000000000000000001",
             "binary_hex":"00ff80","label":"Kafka😀","rev":"1"}
    receipt = p.send("lake-events",key=event["id"].encode(),
                     value=json.dumps(event,ensure_ascii=False).encode()).get(timeout=10)
    print(receipt.topic,receipt.partition,receipt.offset)
    p.flush()
finally:
    p.close()

DLQ、模式与恢复

构造一条过长 label 的无效记录,再发送有效记录。验收 DLQ 中完整原始坏记录、有效记录继续、目标无坏行以及 consumer committed next offset。fallback 接受进 DLQ 可能推进 offset,因此“offset 已提交”不等于所有行进了 SQL;DLQ 必须有独立审计和修复重放流程。

停止/恢复组件期间提交新事件,检查已提交 offset 后捕获离线事件。新增字段先改 SQL DDL,再更新 args_mapping、事件 schema 和旧事件兼容策略。回放使用版本约束或事件去重保护,最后值 UPSERT 不能保护乱序。kafka-python 自建 SQL consumer 需要自行实现 SQL commit/offset、rebalance、DLQ 和去重协议;producer 的 acks=all 也不是外部数据库 exactly-once 保证。