用 Python SDK 做数据科学

本教程使用通用 matrixone-python-sdk,覆盖两个完整流程:SQL 与 pandas 探索分析和训练、评估及预测结果写回。它们使用独立的合成数据、可运行代码和预期结果,不依赖外部模型下载,也不改动业务表。

数据库与 Python 的分工

执行位置

本教程的工作

MatrixOne

存储原始记录、过滤、排序、GROUP BY、精确金额计算、模型清单与预测结果事务写回

SDK / SQLAlchemy

连接、绑定参数、Session、取数和结果对象

pandas / NumPy

DataFrame 表示、类型检查、缺失值检查与训练数组

scikit-learn / Matplotlib

Python 进程内训练、评估和本地绘图;不是数据库内训练或 GPU 加速

安装和运行

使用 Python 3.12,下载 requirements.txt 和以下脚本到同一目录:

  • sdk_common.py:连接、绑定取数及只清理本次新建表。

  • sdk_eda.py:精确值、SQL 聚合、分页、图表和汇总回读。

  • sdk_ml.py:按时间切分、Pipeline、模型清单、预测、回滚与回读。

python -m venv .venv
. .venv/bin/activate
python -m pip install -r requirements.txt

管理员在隔离环境创建专用库:

CREATE DATABASE mo_sdk_science_lab;

设置 MO_HOST、MO_PORT、MO_USER、MO_PASSWORD 与 MO_DATABASE,其中库名为 mo_sdk_science_lab。账号只需本实验库的建表/删表/读写权限;数据库内的 SDK 表名必须不存在。同步 TLS 可设置 MO_SSL_CA,本次 localhost 验证没有测试远端证书。

python sdk_eda.py
python sdk_ml.py

Notebook 中在同一目录与相同环境运行 %run sdk_eda.py 或 %run sdk_ml.py,也可以导入模块并调用 main()。绘图使用 Agg 并保存 PNG,Notebook 可从打印的路径加载图片。示例不需要异步事件循环。

重跑、内存与资源

每次实验清理自己成功创建的表;同名已有表会使实验失败,不覆盖已有数据。图表/CSV/JSON 保存到新建的本机临时目录并打印路径,数据库表在实验结束时清理。需要长期保留时,另行定义结果表、run_id、权限与生命周期;不要直接去掉保护后对业务表执行。

小样本结果被读入内存;SDK Client.execute 先完整 fetchall 再构造 ResultSet,fetchmany 不是服务端流式取数。示例演示键集分页;大数据先过滤/聚合,仅分页不能替代一致性快照或变更边界。不要为耗时的模型训练一直持有数据库写事务。

已验证的版本和范围

Python 3.12.14、matrixone-python-sdk 0.1.16、SQLAlchemy 2.0.43、PyMySQL 1.1.1、aiomysql 0.3.2、NumPy 2.1.3、pandas 2.2.3、SciPy 1.18.1、scikit-learn 1.8.0、Matplotlib 3.10.8,官方 MO v4.2.5。2026-10-14 原样运行两个下载脚本及全部断言。

本页验证小样本端到端流程、类型与事务;不认证生产吞吐、真实预测质量、全库一致性、远端 TLS、CDC 或分布式训练。通用连接方法见Python 连接。