SDK 与 scikit-learn:训练、评估和结果写回¶
按安装与运行运行 sdk_ml.py 和 sdk_common.py。完整实验包括 16 个按日排序的合成样本、特征 x/z、一个缺失 x 与生成的 label。
时间切分与泄漏检查¶
SQL 以 2026-01-13 为 cutoff:此前 12 行训练,此后 4 行测试;逐行证明训练时间早于测试时间。模型仅用 x/z,label、id 和未来数据不作为特征。
Pipeline 是 SimpleImputer(median) → StandardScaler → Ridge(alpha=1.0)。只在训练集 fit,测试集只 transform/predict。脚本检查填补统计量等于训练集 median,并做负对照:合并训练/测试数据后 x median 不同。不要先在全表 fit 再切分。
本实验假定合成记录在事件时刻已经可见;生产特征还要区分事件时间、入库时间、修订版本与真正的 point-in-time 可见性。一次按时间切分不能自动证明没有未来信息泄漏,调参还需要独立验证集/时间交叉验证。
模型计算与指标¶
训练与预测在 Python 的 scikit-learn 中执行,不在 MatrixOne 内执行。实测输出 train=12、test=4,MAE 约 2.713467、MSE 约 7.445498、R² 约 0.273610;浮点结果不要求打印字符完全相同。
这些指标是固定合成样本的流程检查,不说明模型适合业务。脚本检查有限值、训练/测试不重叠、预处理统计和预测回读;生产还需基线、残差、漂移、样本代表性及真实验证集。不要把本页数字当成性能/预测质量承诺。
原子写回与重建¶
模型特征顺序、cutoff、填补值、scaler mean/scale、Ridge 系数/intercept 和 alpha 保存为 JSON 清单;模型元数据与 4 条预测一起写入一个 Session。
先故意在写完模型元数据后抛错,验证两张结果表都没有记录;再成功共同提交,独立 SELECT 回读预测并与 Python 结果比较。原始特征、预处理、模型、结果必须对应同一个 run_id,重试不能默默追加重复记录。
脚本从数据库回读 JSON,用 NumPy 重建同一 Ridge 预测,以 1e-12 的浮点容差比较。此 JSON 表示仅适用于本实验 Pipeline,不是任意模型序列化格式;没有使用 pickle/joblib 加载外部模型。
输出和验收¶
本机临时目录保留 model.json 和 metrics.json;数据库实验表结束后清理。成功输出 leakage_control、rollback_verified、writeback_verified 均为 true。原样脚本在 SDK 0.1.16 / 官方 MO v4.2.5 上执行通过。
实验没有覆盖生产批量推理、分布式/GPU 训练、模型注册服务、在线部署、CDC、并发重试或全部历史数据重放。长期模型管理还应记录数据版本/快照标识、数据提取 SQL、依赖锁定、实验代码版本、权限与保留期。