dlt 加载与 Singer 状态协议适配¶
dlt 路径与配置¶
此前 dlt1.31.0 实际执行 extract/normalize/load 与官方 SQLAlchemy destination。二进制 hex 封装是显式适配。增量合并涉及生成 SQL,历史跨库同名相关 DELETE 见 matrixone#29876;不能用 append 通过证明 merge/delete 通过。
完成共用连接,安装 dlt[sqlalchemy] pymysql。下面写入新的 dataset doc_dlt_demo(可能由 destination 创建独立库,需要授权),使用独立本地 pipeline state 目录;不要丢弃状态文件来掩盖恢复问题。
from decimal import Decimal
import dlt
from dlt.destinations import sqlalchemy
from mo_common import engine
e = engine()
try:
uri = e.url.render_as_string(hide_password=False)
pipeline = dlt.pipeline(pipeline_name="doc_dlt_demo",pipelines_dir="dlt-state",
destination=sqlalchemy(credentials=uri),dataset_name="doc_dlt_demo")
rows = [{"id":601,"amount":Decimal("12345678901234567890.123456789012345678"),
"payload_hex":"00ff80","label":"dlt😀"}]
columns = {"id":{"data_type":"bigint","nullable":False},
"amount":{"data_type":"decimal","precision":38,"scale":18},
"payload_hex":{"data_type":"text"},"label":{"data_type":"text"}}
info = pipeline.run(rows,table_name="records",write_disposition="append",columns=columns)
print(info)
finally:
e.dispose()
dlt 合并、删除与模式¶
核对 loaded package/failed jobs 后,用新 SQL 连接回读 Decimal、UNHEX(payload_hex) 字节和 label。上例 append 重跑可能重复,不具有 CDC/删除语义。选择 merge 时明确 primary_key、dedup 排序和 hard_delete 列,分别验证更新、删除及完整批次回读;不要只看 load_info 返回成功。
宽日期、Decimal 精度、原始 binary 与目标生成 DDL 分开探测。新增字段同时核对 schema update 与旧 state 恢复。生产 remote TLS 按 SQLAlchemy destination 支持的 credentials 配置独立验收;本例复用的是本机 URL,不自动继承共用 engine 的所有 connect_args。
Singer:tap、target 和状态契约¶
此前验证运行真实 Singer SDK/protocol,并使用明确的自定义 SQL target;不是所有第三方 Singer target 的认证。部署时记录 tap/SDK/target 的版本,先运行 tap 的 catalog/discover,再保存选择的 stream、key_properties 和 replication_key。
下例是状态封装的形状,三行分别 SCHEMA、RECORD、STATE。保留64位 ID 与 decimal 字符串、binary hex;deleted 是自定义删除契约,需要 target 明确应用。标准 Singer 的 RECORD 本身不保证 DELETE 行为。
{"type":"SCHEMA","stream":"lake_events","key_properties":["event_seq"],"schema":{"type":"object","properties":{"event_seq":{"type":"integer"},"id":{"type":"string"},"amount_text":{"type":["string","null"]},"binary_hex":{"type":["string","null"]},"deleted":{"type":"boolean"}}}}
{"type":"RECORD","stream":"lake_events","record":{"event_seq":1,"id":"9007199254740993","amount_text":"0.000000000000000001","binary_hex":"00ff80","deleted":false}}
{"type":"STATE","value":{"event_seq":1}}
Target 与恢复验收¶
自定义 target 先验证 schema、解码与参数绑定,再在一个 SQL 事务内应用业务效果和事件去重凭证。业务键不等于事件 ID,同事件重复不得再次做累加;同 ID 不同内容应报错而不是静默忽略。SQL 持久化后才能把对应 STATE 输出给上游状态管理器,上游收到 STATE 前崩溃仍可能重放,需用保存的状态做新进程恢复。
分别保留 tap 输入、target 生成 SQL、提交凭证、STATE 输出、断点前后 oracle 和失败日志。测试提交前失败、提交后 STATE 前失败、模式改变及坏记录隔离。不能因为协议中存在 STATE 就宣称跨系统 exactly-once。