Redpanda Connect 与 kafka-python 精确事件写入¶
路径与前提¶
参考 Redpanda Connect 4.113.0:真实 kafka_franz input → sql_raw output → fallback Kafka DLQ;kafka-python 使用真实 producer/consumer API。验证过主键幂等、删除、故障重启、离线变更和协调新增列;不是 Redpanda 原生自动 DDL,也不是跨系统 exactly-once。
完成共用连接,准备可访问 Kafka 的输入 topic lake-events 与 DLQ lake-dlq,记录分区数/保留时间。安装 Redpanda Connect 和 kafka-python。本页写 lake_demo,示例键501;不要给业务库重放。SQL DSN 从密钥管理注入 MO_DSN,格式按所用 MySQL 驱动配置(示例形状 user:password@tcp(host:6001)/doc_lake),密码的特殊字符处理应单独确认。
运行配置¶
保存为 redpanda.yaml。事件中的64位整数/小数用字符串、二进制用 hex,NULL 仍为 JSON null。SQL 参数绑定不拼接业务值。这个示例单线程/单 in-flight 起步;同键多分区或多线程时必须另验顺序。
input:
kafka_franz:
seed_brokers: ["${KAFKA_BOOTSTRAP}"]
topics: [lake-events]
consumer_group: lake-demo-sink
start_offset: earliest
commit_period: 1s
checkpoint_limit: 1
pipeline:
threads: 1
output:
fallback:
- switch:
cases:
- check: 'this.op == "delete"'
output:
sql_raw:
driver: mysql
dsn: "${MO_DSN}"
query: 'DELETE FROM lake_demo WHERE id=?'
args_mapping: 'root = [this.id]'
max_in_flight: 1
- output:
sql_raw:
driver: mysql
dsn: "${MO_DSN}"
query: 'INSERT INTO lake_demo(id,amount,payload,label,rev) VALUES(?,?,UNHEX(?),?,?) ON DUPLICATE KEY UPDATE amount=VALUES(amount),payload=VALUES(payload),label=VALUES(label),rev=VALUES(rev)'
args_mapping: 'root = [this.id,this.amount,this.binary_hex,this.label,this.rev]'
max_in_flight: 1
- kafka_franz:
seed_brokers: ["${KAFKA_BOOTSTRAP}"]
topic: lake-dlq
key: '${! this.id }'
shutdown_timeout: 5s
redpanda-connect lint redpanda.yaml
redpanda-connect run redpanda.yaml
kafka-python 发送与验收¶
在另一个终端运行 producer。预期 id 501 的 amount 为 -1e-18、二进制 00FF80、Unicode 标签。再发送同键相同事件,目标应仍只有一行;发送 {"op":"delete","id":"501"} 应移除该键。第一次功能验证保留原始 topic 事件和发送 receipt。
import os, json
from kafka import KafkaProducer
p = KafkaProducer(bootstrap_servers=os.environ["KAFKA_BOOTSTRAP"],acks="all")
try:
event = {"op":"upsert","id":"501","amount":"-0.000000000000000001",
"binary_hex":"00ff80","label":"Kafka😀","rev":"1"}
receipt = p.send("lake-events",key=event["id"].encode(),
value=json.dumps(event,ensure_ascii=False).encode()).get(timeout=10)
print(receipt.topic,receipt.partition,receipt.offset)
p.flush()
finally:
p.close()
DLQ、模式与恢复¶
构造一条过长 label 的无效记录,再发送有效记录。验收 DLQ 中完整原始坏记录、有效记录继续、目标无坏行以及 consumer committed next offset。fallback 接受进 DLQ 可能推进 offset,因此“offset 已提交”不等于所有行进了 SQL;DLQ 必须有独立审计和修复重放流程。
停止/恢复组件期间提交新事件,检查已提交 offset 后捕获离线事件。新增字段先改 SQL DDL,再更新 args_mapping、事件 schema 和旧事件兼容策略。回放使用版本约束或事件去重保护,最后值 UPSERT 不能保护乱序。kafka-python 自建 SQL consumer 需要自行实现 SQL commit/offset、rebalance、DLQ 和去重协议;producer 的 acks=all 也不是外部数据库 exactly-once 保证。