DolphinScheduler Shell 与原生 SQL 任务¶
两条路径与版本¶
参考 DolphinScheduler 3.4.2。此前真实 Shell 任务启动 Python/PyMySQL 完成多组场景;另外执行了原生 SQL/JDBC 数据源任务并核对 COUNT/SUM。Shell 的类型矩阵不能当作原生 JDBC 全类型认证,原生聚合预检也不能代替重载调度和 HA。
按 DolphinScheduler 安装说明 部署测试环境,配置租户、worker group 和任务执行目录。完成共用样例;worker 必须能访问数据库,不是仅 API server 能访问。
Shell:脚本、环境与退出状态¶
把 mo_common.py 和下面的 ds_check.py 安装到 worker 的专用目录。在受控环境配置中注入 MO_*,不要把密码写到可见的 Shell 命令。选择 Shell 任务,执行 .venv/bin/python ds_check.py,设置超时和有限重试。任务 SUCCESS 后仍应核对 JSON 回读及目标值。
import json
from decimal import Decimal
from mo_common import connect
with connect() as d:
with d.cursor() as c:
c.execute("SELECT id,amount,HEX(payload),label,rev FROM lake_demo WHERE id IN (2,9007199254740993) ORDER BY id")
rows = c.fetchall()
assert len(rows) == 2
assert rows[0] == (2,None,"","",0)
assert rows[1] == (9007199254740993,Decimal("12345678901234567890.123456789012345678"),"00FF80","中文😀",0)
print(json.dumps(rows,ensure_ascii=False,default=str))
原生 SQL/JDBC:单独配置¶
在数据源管理选择 MYSQL,Host/Port/Database/User/Password 对应共用配置,安装与该 DS 版本匹配的 MySQL JDBC 驱动。在 worker 的数据源路径中确认 com.mysql.cj.jdbc.Driver 可加载。先使用“测试连接”,随后创建 SQL 任务使用该数据源。两项要分别记录成功,不能把测试连接计为任务执行。
在专用库初始化下面的审计表。示例完整包含 DDL 和查询,放到客户端执行做预检;实际 SQL 任务只运行其中 INSERT,SQL 类型选择非查询(更新)。审计键为固定 ds-demo,重试写相同统计值;这是演示,不是通用事件 exactly-once 协议。
CREATE DATABASE IF NOT EXISTS doc_lake;
USE doc_lake;
CREATE TABLE IF NOT EXISTS ds_demo_audit (run_key VARCHAR(64) PRIMARY KEY, rows_seen BIGINT, sum_rev BIGINT);
CREATE TABLE IF NOT EXISTS lake_demo (id BIGINT PRIMARY KEY, amount DECIMAL(38,18), payload VARBINARY(256), label VARCHAR(256), rev BIGINT);
INSERT INTO ds_demo_audit
SELECT 'ds-demo', COUNT(*), COALESCE(SUM(rev),0) FROM lake_demo
ON DUPLICATE KEY UPDATE rows_seen=VALUES(rows_seen),sum_rev=VALUES(sum_rev);
SELECT * FROM ds_demo_audit WHERE run_key='ds-demo';
发布、恢复与排障¶
把工作流发布为 ONLINE,再手动运行;记录工作流实例、任务实例、worker、重试次数与执行 SQL。SQL 任务失败先保留 JDBC 异常和生成 SQL;Shell 任务失败分别检查租户 OS 用户、工作目录、Python 环境、网络与事务错误。
停止 worker 后恢复时核对已提交审计行,不能只看调度状态。业务删除、版本演进和批次提交需在任务脚本或 SQL 中明确处理。源数据在重试期间变化时,固定 run_key 覆盖统计值只是最新一次观测,不是不可变快照;生产批次需固定输入水位。高并发场景单独测试 worker 资源、SQL 连接上限及 master/worker 故障恢复。