dbt-mysql 模型构建与数据测试¶
版本与前提¶
参考 dbt-core 1.7.20、dbt-mysql 1.7.0;该固定组合用于复现历史验证条件,dbt-core 1.7 已停止常规维护。生产应选择仍受维护的版本并重新验证 adapter/SQL 兼容性。此前真实执行 dbt build 的表模型和数据测试。不是仅 parse,也不代表所有增量 materialization、删除传播和重试语义都已认证。先完成样例,安装 dbt-core==1.7.20 dbt-mysql==1.7.0,在独立目录创建如下项目。此适配器的 server/username 配置名不要改成其他适配器的 host/user。
项目与 profile¶
保存 dbt_project.yml。table materialization 会重新创建本项目输出模型,使用独立库和模型名;不要指向业务表。
name: lake_demo_project
version: '1.0'
config-version: 2
profile: matrixone_demo
model-paths: ['models']
test-paths: ['tests']
models:
lake_demo_project:
+materialized: table
在同一目录保存 profiles.yml,用 --profiles-dir . 指定。密码保留为环境变量引用。下面为本机隔离连接;远程 TLS 请按所选 dbt-mysql 发布版支持的参数配置并独立验证,不能直接借用其他 dbt adapter 的 ssl 字段。
matrixone_demo:
target: mo
outputs:
mo:
type: mysql
server: "{{ env_var('MO_HOST') }}"
port: "{{ env_var('MO_PORT') | int }}"
username: "{{ env_var('MO_USER') }}"
password: "{{ env_var('MO_PASSWORD') }}"
schema: "{{ env_var('MO_DATABASE') }}"
charset: utf8mb4
collation: utf8mb4_bin
threads: 2
模型和验收¶
保存 models/lake_projection.sql。金额和二进制使用明确字符串表示,避免模型结果展示工具进行隐式浮点转换;这是显式映射,不等于验证了默认类型推断。
SELECT id, CAST(amount AS CHAR) AS amount_text, HEX(payload) AS payload_hex,
CONCAT(label, '→dbt') AS label, rev
FROM lake_demo
WHERE id IN (2, 9007199254740993)
保存 tests/lake_projection_keys.sql。dbt 数据测试返回零行才通过;这既检查重复也检查 NULL 键。随后新连接核对 amount_text、payload_hex 和 Unicode 标签,不要用键测试代替所有字段保真。
SELECT id
FROM {{ ref('lake_projection') }}
GROUP BY id
HAVING COUNT(*) <> 1 OR id IS NULL
dbt debug --profiles-dir .
dbt build --profiles-dir . --select lake_projection
# Retain target/run_results.json and target/manifest.json.
增量、删除、模式和恢复¶
从全量 table 模型开始,单独验证每一种 incremental strategy、unique_key、生成 SQL 和 schema change 策略。源 DELETE 不会因 is_incremental() 自动删除目标;需快照、显式删除事件或经验证的合并。字段改名/缩窄不要等同于新增字段。
运行中断后检查中间表、目标表和 run_results,再重建或恢复;一个模型成功不代表整个 DAG 原子提交。并行模型共享同库时避免同名暂存对象。历史相关生成 SQL 问题:跨库相关 DELETE #29876、反射 BOOL DDL #29879。核实已发布修复后再决定 workaround,不要将整个 dbt 判为不支持。