MatrixOne 架构设计¶
适用实现基线:MatrixOne v4.2.5。组件分离描述部署职责,不表示活跃事务、连接或恢复过程可以无条件迁移。
组件和数据流¶
客户端 → Proxy(可选)→ CN:Frontend → Plan → Compile/Pipeline
│ │
│ └→ FileService → 对象存储
└→ DistTAE → TN/TAE → WAL → LogService/Raft
│
└→ Logtail → 订阅 CN 的可读状态
组件 |
核心职责 |
需要区分的边界 |
|---|---|---|
CN |
协议、鉴权、SQL 规划和执行,事务 workspace、对象读取和缓存 |
无需把缓存当作权威数据,但连接、活跃事务和运行中查询仍有生命周期 |
TN/TAE |
事务裁决、Catalog/MVCC、WAL、Logtail、Flush、Checkpoint、Merge |
重启后必须完成恢复和服务就绪,不能把“可重建”理解为任意启停无影响 |
LogService |
以 Raft 持久化事务日志,并提供读取和截断服务 |
WAL 是恢复信息;Logtail 是 TN 到 CN 的状态同步协议 |
FileService |
对象及文件读取、写入、缓存和远程缓存读取 |
远程读缓存数据不等同于转发 SQL 执行 |
Proxy |
按租户和标签选择后端,管理连接及迁移 |
连接路由与一条 SQL 的分布式算子调度是不同过程 |
HAKeeper |
维护集群状态并产生调度命令 |
Operator 管理 Kubernetes 资源,不能替代数据库内部的就绪判定 |
写入、提交和可见性¶
CN 在事务工作区组织修改。小写入可随提交请求发送给 TN;批量路径可能先写数据对象,再提交对象元数据。
TN 对事务进行准备、检查和裁决,将必要的恢复信息写入 WAL 后端。提交应用路径等待 WAL 完成;异步流水线不意味着成功提交可以绕过持久性条件。
事务提交后,TN 通过 Logtail 将行变更、删除信息和对象元数据提供给订阅 CN。CN 需具有快照时间戳所需的状态才能读取。
后台 Flush/Merge/Checkpoint 改变物理布局和恢复起点。SQL 事务提交、对象刷新、Logtail 应用和检查点完成是不同事件。
关键不变量:**已提交修改必须有可恢复的持久化依据;CN 返回的快照结果必须结合时间戳可见的对象、内存变更和删除信息。**不能通过直接列举 S3 文件来重建任意 SQL 快照。
读取和故障边界¶
CN 根据计划读取事务工作区、Logtail 重建的状态和可见对象,通过 FileService 使用内存、磁盘或远程缓存。缓存失效主要影响性能;Logtail 断线、事务状态不明、日志多数派不可用等则影响正确性条件或服务可用性。
重启 CN 会影响其连接和运行中请求。重启 TN 涉及 Checkpoint/WAL 恢复及锁绑定变化。LogService 的副本数和多数派要求由实际配置决定,不能将“三副本示例”写成所有部署的固定事实。
阅读路径¶
先看 TAE 和事务,再看 WAL、Logtail、FileService、Proxy 和 Operator。SQL 使用接口与内部实现说明互相补充;具体参数、阈值和实验特性须核对实际构建及配置。