SDK、pandas 与 SQL 探索分析¶
按安装与运行下载并运行 sdk_eda.py 和 sdk_common.py。完整脚本创建 12 条记录,包括一个 NULL 金额、一个 NULL 客户 ID 和微秒时间。
从绑定查询构造 DataFrame¶
辅助函数通过 Session.execute(text(sql), params) 绑定参数,从 SQLAlchemy Result 的 fetchall/keys 构造 DataFrame。它没有调用不存在的 SDK to_dataframe;所有取数都是显式操作。Client.execute 的 ResultSet 则有 rows/columns,返回对象不同。
金额保留 Python Decimal;辅助函数先以 object 构造 DataFrame,避免 nullable 大整数先被浮点推断损坏,再显式将 customer_id 转成 pandas Int64 扩展类型。脚本逐值验证 9007199254740993 与 NULL。不要把先转成 float 后再转 Int64 当作精度保留。微秒时间逐值断言;此实验时间为约定的 UTC 无时区 DATETIME,不自动携带每行 offset。
在 SQL 中聚合,在 Python 中检查¶
过滤与 GROUP BY 在数据库执行,pandas 检查精确汇总值,并只在绘图时把金额转换成 float。NULL 金额不当成零;COUNT(*) 与 COUNT(amount) 分别说明总行数和有金额的行数。
channel |
n_rows |
n_amount |
revenue |
|---|---|---|---|
mobile |
6 |
6 |
421.5000 |
web |
6 |
5 |
331.2500 |
总金额为 752.7500。脚本将汇总写入 sdk_ds_summary,再独立 SELECT 回读比较;同时逐行检查 Decimal、NULL 与微秒。金额的业务验收使用精确值,图表不是金额校验器。
分页与图表¶
使用 WHERE id > :last_id ORDER BY id LIMIT 5 做键集分页,实际页大小为 5、5、2,最终得到 id 1–12。分页发生在 SQL 中;ResultSet.fetchmany 本身不会限制整个查询的内存。生产分页需要稳定键和跨页一致性策略,本实验数据在分页时不变化。
Matplotlib 在本机临时目录生成 daily.png,pandas 保存 daily.csv,同时写出 checks.json。查看脚本打印的目录;图表的断言是六个日汇总及金额总和,而不是固定图片像素。这里只展示已有六天,缺失日期补齐和业务日历需要另行定义。
预期验收¶
成功输出包含 rows=12、null_amounts=1、revenue=752.7500、keyset_rows=12、writeback_verified=true。原样下载脚本在官方 MO v4.2.5 实际运行,并检查 PNG/CSV 已生成。表在结束时自动清理,本地输出保留。