Skip to content

混合负载 HTAP

MatrixOne 是一款能够支持 HTAP(Hybrid Transaction Analytical Processing)混合负载处理的数据库,旨在提供满足单一数据库内事务处理(TP)和分析处理(AP)所有需求的解决方案。凭借其存储和计算事务的解耦架构,MatrixOne 能够在同一数据引擎中同时支持在线交易和实时统计分析,同时提供高效的资源隔离机制。这种设计大大保留了数据的新鲜度,省去了在许多业务场景中构建实时数据仓库的步骤,从而帮助客户实现其业务价值。

业务需求

随着企业业务规模的扩大,数据量的不断增长,以及业务系统的日益复杂,传统的在线数据库不得不面对拆分的问题。然而,拆分后的架构并不能满足一些需要关联统计和实时分析的需求。此时,类似实时数据仓库的产品应运而生。然而,由于实时数据仓库的架构复杂,成本高昂,并非所有的企业都能构建一整套生态链路。MatrixOne 的 HTAP 模式应运而生,它可以使用一套引擎在支持高并发在线吞吐的同时,提供海量数据的实时在线分析能力,为企业提升效率、持续创新提供了动力。

功能优势

  • 一站式体验:满足在单一数据库内进行事务处理(TP)和分析处理(AP)的所有需求,用户可以享受到覆盖整个 TP 和 AP 场景的一站式体验。
  • 简化集成工作:用户使用 MatrixOne 只需要进行少量的集成工作,就能实现全面的 TP 和 AP 场景的使用,尤其能显著减少从 TP 数据库同步到 AP 数据库的复杂 ETL 工作。
  • 高性价比:MatrixOne 使用单一存储引擎来实现 HTAP,相比于传统的多引擎方案,用户只需要维护一套集群,存储一份数据,就能显著降低硬件投入。

技术架构

MatrixOne 通过模块化的存储、计算和事务架构,多级存储体系,以及负载处理链路隔离的模式来实现 HTAP。

存储、计算、事务模块化分离

MatrixOne 的整体技术架构采用完全的存储和计算分离架构。通过模块化设计,将数据库的计算、存储、事务处理分离为单独的模块,从而组建出一套各组件都具有独立伸缩能力的数据库系统。如下图所示,MatrixOne 由三个独立层级构成:

  • 计算层,以计算节点 Compute Node 为单位,实现计算和事务处理的无服务器化,并有自己的 Cache,支持随意重启和扩缩容;多个 Compute Node 可以并行计算,提升查询效率。
  • 事务层,由数据库节点 Transaction Node 和日志节点 Log Service 组成,提供完整的日志服务以及元数据信息,内置 Logtail 用于保存最近写入的新数据。
  • 存储层,所有数据均保存在以 S3 为代表的对象存储中,实现了低成本、无限扩展的存储方式,通过命名为 File Service 的统一文件操作服务,实现了不同节点对底层存储的无感知操作。

多级存储体系

如上一章节中图示所示,MatrixOne 的存储体系由全量数据共享存储、少量共享日志和计算节点的无状态缓存组成。

  • 全量数据保存在对象存储中,作为整个数据库的主存储,也是数据持久化的唯一保存位置。对象存储具有成本低廉,扩展性近乎无限的特性。
  • LogService 提供共享日志服务,用于对整个集群的写入/更新等事务信息进行状态信息保存,它是整个集群唯一带状态的组件。因此,LogService 需要以分布式 Raft 协议以 3 节点的形式保证高可用。但是它只保留一段时间的事务处理日志,我们称之为 Logtail。隔一段时间,就会有 TN 来帮助将历史日志进行压缩,存入 S3,因此 Logtail 可以保持一个非常精简的数据大小,一般在几 GB 左右。
  • 每个计算节点 CN 上都有缓存,在用户初次查询时,会从对象存储中读取相关数据并放入缓存中,作为热数据。当客户再次查询相同内容时,如果命中缓存,将会快速向用户返回查询结果。关于缓存带来的冷热数据分离的技术特性,可以参考数据缓存及冷热数据分离架构详解。另外,除了读取对象存储中的数据外,CN 节点还会向 LogService 订阅 Logtail 的数据,LogService 中有新的更新会即时推送给 CN。

负载处理链路隔离

自定义负载隔离

用户请求首先会进入 MatrixOne 集群并通过 Proxy 模块。Proxy 是用于实现计算节点分组和隔离的模块。该模块通过配置将计算节点 CN 分为若干组,并用标签区分各种租户或负载,让用户能够根据不同的业务需求设定不同的 CN 组处理不同的业务。

有关 Proxy 对 CN 分组使用的具体操作,可以参考使用 Proxy 管理 CN 组

TP/AP 负载链路隔离

在执行层面,MatrixOne 会根据请求类型将其路由到不同的处理链路,从而实现 OLTP 和 OLAP 的隔离。下面我们将根据读写请求的处理方式来详细解释如何实现负载隔离。

写请求处理

如图所示,处理写请求(INSERT/UPDATE/DELETE)时:

  1. CN 节点会启动一个事务,并检查写入请求是否有主键冲突或其他事务相关问题,如果有,则直接向用户返回错误。

  2. 接下来,CN 会根据写请求的数据量大小来决定操作的链路。如果数据量没有超过设定的阈值(通常为 10MB),则 CN 节点会将数据发送给 TN 节点,TN 节点会进行写写冲突检测和事务仲裁等操作,确保无误后,将这些数据以日志形式写入 LogService,形成 Logtail。

  3. 更新的 Logtail 将即时推送给订阅了 Logtail 数据的 CN 节点,以便查询。如果数据量超过阈值,则 CN 节点会直接将数据写入对象存储,并将提交 commit 信息发送给 TN,TN 节点会进行写写冲突检测和事务仲裁等操作,在确认无误后,提交事务。

从上图可知,少量数据的 OLTP 类型写入请求会经过 CN 至 TN 再至 LogService 的处理链路,而大数据量的写入请求,如 Load 等,则会主要经过 CN 至 S3,以及少量的 CN 至 TN。

读请求处理

如图所示,处理读请求时,CN 节点会首先查看已订阅的 Logtail 数据,如果数据直接命中 Logtail,则说明数据位于最新的一部分写入数据中,可以直接返回。如果没有命中 Logtail,CN 会检查自己及其他可见 CN 的缓存,如果命中缓存,将直接返回结果。如果没有命中缓存,CN 会通过分析执行计划判断是否需要大量读取数据,如果超过一定的阈值(如 200 个 block size)则由多个 CN 节点并行从对象存储中读取,如果未超过阈值则由单个 CN 节点从对象存储中读取。

如上图所示,无论是 OLTP 还是 OLAP 的读请求,都会经过 CN 至 S3 的处理链路。通过 Proxy 对 CN 节点的隔离,可以进一步实现 CN 的隔离。

应用场景

无论在金融、电信、制造业还是互联网、科技等新兴行业,HTAP 都有广泛的应用场景。

例如,在金融领域,HTAP 数据库可以满足高速交易处理和实时风险管理的需求,支持金融交易的高吞吐量和低延迟要求,同时提供实时数据分析功能,以支持决策制定和风险监控。

在电信行业,HTAP 数据库可用于实时计费和网络优化,能处理大量实时数据,追踪用户通信和网络活动,同时支持实时分析和智能决策,以改善服务质量、网络性能和用户体验。

在物联网领域,HTAP 数据库可用于设备管理和实时监控,能处理大量传感器数据和设备状态信息,并提供实时设备监控和管理功能,这对于物联网系统的实时决策、远程故障诊断和预测维护具有重要意义。

金融实时风控系统

某银行作为一家领先的城市商业银行,其信用卡业务拥有一套实时风控系统,该系统主要负责监控和评估信用卡交易,识别交易风险并及时采取限制措施。

以下表格展示了这套系统的核心业务需求场景以及 MatrixOne 的 HTAP 如何满足这些需求:

核心业务需求 业务类型 MatrixOne 的 HTAP 能力
实时获取交易数据 快速且低延迟的数据写入 MatrixOne 能够高效并发地写入海量数据,通过扩展多 CN 节点和对象存储来进一步提升性能。
离线计算大量数据指标,分析用户行为及风险因素 复杂的分析查询,需要处理 TB 级别的数据 MatrixOne 具备处理海量星型和雪花型数据分析的能力,通过多 CN 节点并行计算可以线性提升分析能力。
实时分析交易数据,计算风险指标 典型的 AP 业务,需要在规定时间内计算数据结果 MatrixOne 的多 CN 节点并行计算能力能够满足大规模数据报表的计算需求,同时提供快速的数据读取性能。
面对频繁且剧烈的业务波动 需要灵活的扩展性架构来应对大的负载波动 MatrixOne 的存储和计算分离架构具备强大的扩展性,能在业务波动时快速扩缩容以匹配业务需求。

电信业务管理系统

某企业是一家省级电信运营商,服务用户数量达数千万,主要提供电话通信服务,需要同时支撑海量用户的使用和统计分析。

以下表格展示了这套系统的核心业务场景以及 MatrixOne 的 HTAP 如何满足这些需求:

核心业务场景 业务类型 MatrixOne 的 HTAP 解决方案
查询用户话费缴存情况并实时停机 高并发的短小事务,需要低延迟 MatrixOne 具备 OLTP 能力,多 CN 节点分布式架构可以确保在高并发下的稳定性能,同时实现负载均衡。
用户充值后实时更新账户余额 高并发的短小事务,需要低延迟 MatrixOne 的 TP 能力可以满足高并发且低延迟的 TP 需求,同时分布式多 CN 节点架构提供负载均衡特性。
批量调整用户套餐并在下月生效 超大事务,需要高性能 MatrixOne 可直接写入 S3,避免了 Logservice 在高并发下的争用,从而实现快速批量的数据写入。
对用户数据进行日、周、月、季度和年度统计 典型的 AP 业务,需要在规定时间内计算数据结果 MatrixOne 的多 CN 节点并行计算能力能满足大规模数据报表的计算需求,同时提供快速的数据读取性能。

制造生产执行系统

某企业是一家电子产品制造商,拥有数十条各类消费电子产品的生产线。其生产制造执行(MES)系统需要对生产线上的人员、机器、物料和流程进行管理,同时定期分析生产效率和能耗等问题。

以下表格展示了这套系统的核心业务场景以及 MatrixOne 的 HTAP 如何满足这些需求:

核心业务场景 业务类型 MatrixOne 的 HTAP 解决方案
管理生产、仓储和质量 高并发短小事务,需要低延迟 MatrixOne 具备 OLTP 能力,分布式多 CN 节点可以确保在高并发下的稳定性能,同时实现负载均衡。
实时采集大量机器生产数据 高并发多数据类型的数据写入 MatrixOne 能够高效并发地写入海量数据,通过扩展多 CN 节点和对象存储来进一步提升性能。
分析海量历史生产记录的溯源 需要对海量离线数据进行多维查询分析 MatrixOne 具备处理海量星型和雪花型数据分析的能力,通过多 CN 节点并行计算可以线性提升分析能力。
实时查询生产效率、能耗和设备状态 极快的 Ad-hoc 交互式分析 MatrixOne 支持各种复杂 SQL 查询,通过多 CN 节点并行计算可以实现实时分析。