Airflow MySqlHook DAG 与幂等重试¶
安装、连接与版本¶
参考 Airflow 3.3.2、MySQL provider 6.7.0、mysql-connector-python 26.7.0。此前运行了真实 DAG/任务和 MySqlHook;任务内的多组行验证不能计为同等数量的调度故障测试,待运行的重载 DAG 也不计为通过。
按 Airflow 安装说明 使用对应 Python 版本的 constraints 安装,额外安装 MySQL 与 standard provider。先完成共用样例。在 Airflow UI/密钥后端创建连接 matrixone_demo:类型 MySQL、Host/Port/User/Password/Schema 分别对应 MO_*。下面的 Extra 选择实际验证的驱动;不设置时默认驱动是 mysqlclient,不能混算。
{"client":"mysql-connector-python","ssl_disabled":true}
本机隔离环境才使用 ssl_disabled:true。远程连接改为 ssl_disabled:false,加入 ssl_ca、ssl_verify_cert:true、ssl_verify_identity:true,并在每个实际执行 worker 上配置 CA。
保存并运行 DAG¶
保存为 $AIRFLOW_HOME/dags/matrixone_demo.py,在部署好的 Airflow 中确认导入无错误,再触发运行。写入设置固定最终值,避免重试导致 rev=rev+1 再生效;回读使用另一任务的新连接。
from datetime import datetime, timedelta, timezone
from decimal import Decimal
from airflow.sdk import DAG
from airflow.providers.standard.operators.python import PythonOperator
from airflow.providers.mysql.hooks.mysql import MySqlHook
def write():
d = MySqlHook(mysql_conn_id="matrixone_demo").get_conn()
c = d.cursor()
try:
c.execute("INSERT INTO lake_demo(id,amount,payload,label,rev) VALUES(%s,%s,%s,%s,%s) "
"ON DUPLICATE KEY UPDATE amount=VALUES(amount),payload=VALUES(payload),"
"label=VALUES(label),rev=VALUES(rev)",
(401,Decimal("0.000000000000000001"),b"\x00\xff\x80","Airflow😀",1))
d.commit()
except Exception:
d.rollback()
raise
finally:
c.close()
d.close()
def verify():
d = MySqlHook(mysql_conn_id="matrixone_demo").get_conn()
c = d.cursor()
try:
c.execute("SELECT amount,payload,label,rev FROM lake_demo WHERE id=401")
row = c.fetchone()
assert row == (Decimal("0.000000000000000001"),b"\x00\xff\x80","Airflow😀",1)
finally:
c.close()
d.close()
with DAG("matrixone_demo",start_date=datetime(2026,1,1,tzinfo=timezone.utc),
schedule=None,catchup=False,max_active_runs=1) as dag:
load = PythonOperator(task_id="write",python_callable=write,retries=1,
retry_delay=timedelta(seconds=3),execution_timeout=timedelta(minutes=5))
check = PythonOperator(task_id="verify",python_callable=verify)
load >> check
airflow dags list-import-errors
airflow dags trigger matrixone_demo
恢复、模式演进与负载¶
先完成一次成功运行,再在隔离环境检查写入提交后任务退出、worker 重启、重试、重复触发。验收目标值、重复键和任务日志;这个 UPSERT 示例对同一最终值幂等,不保证乱序覆盖正确,生产事件应使用版本条件或事件账本。
源行消失不会自动删除目标行。删除需明确带键任务/事件,DDL 需先迁移目标,再更新 DAG 字段映射。一个任务的 Python/SQL 事务与 Airflow 调度状态没有原子提交:不要把任务成功和 retries 配置称为跨系统 exactly-once。用 pool、max_active_runs 和驱动连接池分别控制并发,重试风暴时记录实际连接数与数据库压力。