运维总览:巡检、变更与恢复

将运行中的 MatrixOne 管理成可验证的服务:记录版本与拓扑,建立业务基线,定期恢复演练,在变更和故障时保留证据。本页针对 v4.2.5,不将单机实验结果推广为生产高可用认证。

先保存一份运维台账

记录 MO tag/digest、Operator chart/实际控制器镜像/CRD、配置来源、UUID/Logservice hostname、CN/TN/Logservice 与存储故障域、客户端入口、账号、数据/PVC/bucket/prefix、备份工具与恢复步骤。凭证只记录引用和责任人,台账及 issue 不保存明文。

周期/事件

检查与交付

每日或每班

连接与业务读写、延迟/错误、Pod 重启/资源、磁盘/inode、对象存储错误、备份新鲜度

每周

容量趋势、慢查询变化、任务/CDC 积压、权限变化、证书期限、备份链与保留期

每次变更前

版本兼容与存储格式、可恢复备份、批准清单、变更窗口、停止条件和恢复方案

周期性恢复演练

独立目标恢复、业务校验、实测 RPO/RTO、外部依赖和切回方案

故障发生时

冻结无关变更、定位层次、保存时间线/错误/日志、限定影响后恢复

告警按业务影响设计

告警类别

信号

首步处理

不可用/错误率

真实入口连接失败、认证失败、SQL 错误激增

分开检查入口/网络/身份/数据库与存储

延迟与拥塞

关键 SQL p95/p99、事务冲突、并发/任务积压

对照业务量、计划、CPU/内存/IO 与依赖变化

资源耗尽

OOMKilled、CPU 限流、磁盘/inode/spill 空间不足

保留事件与限额证据,降低负载;不删状态文件

数据/恢复风险

最近成功备份超龄、恢复失败、备份链缺失、存储错误

检查备份完整性与独立目标恢复,不只看作业退出码

后台作业

Task FAILED/TIMEOUT、CDC 断连/积压

核对历史、水位和已有写入,幂等重试

阈值、持续时间、负责人和升级路径由业务 SLO 与基线确定。具体指标名/label 以运行版本暴露的指标为准;不要把旧版截图和指标名作为已验证的告警规则。错误率低不等于数据正确,Pod Ready 不等于完整业务就绪。

故障排查顺序

  1. 从真实客户端复现,记录时间与时区、账号/租户、CN/入口、SQL、错误码、是否重试和影响范围。

  2. 核对最近版本、配置、schema、负载、凭证与网络变更,区分单 SQL、单 CN、租户和整集群。

  3. 收集服务状态、重启/OOM/调度事件、目标进程日志和资源趋势;先读证据,后修改参数或重启。

  4. 连接问题查路由/认证;慢查询查执行计划和资源;写入问题查权限/事务/存储;恢复问题查版本/格式/节点身份与备份链。

  5. 按批准方案修复并复验业务,再恢复流量。记录根因、实际恢复时间和后续行动。

MO_NAMESPACE=mo
kubectl get pods,pvc,svc -n "$MO_NAMESPACE" -o wide
kubectl get events -n "$MO_NAMESPACE" --sort-by=.lastTimestamp

选择受影响 Pod 后再查看其日志;不要把整个命名空间的 Secret、含凭证配置或客户数据打包公开。调试接口只在授权网络使用,保留部署方式和真实端口。

操作入口

这次验证了单 CN 的版本、写入、重启、固定 hostname 重建和 SQL 快照恢复;没有安装生产 Kubernetes 集群、演练多节点故障或执行跨版本升级。生产上线仍需自己的兼容性与恢复证据。