运维总览:巡检、变更与恢复¶
将运行中的 MatrixOne 管理成可验证的服务:记录版本与拓扑,建立业务基线,定期恢复演练,在变更和故障时保留证据。本页针对 v4.2.5,不将单机实验结果推广为生产高可用认证。
先保存一份运维台账¶
记录 MO tag/digest、Operator chart/实际控制器镜像/CRD、配置来源、UUID/Logservice hostname、CN/TN/Logservice 与存储故障域、客户端入口、账号、数据/PVC/bucket/prefix、备份工具与恢复步骤。凭证只记录引用和责任人,台账及 issue 不保存明文。
周期/事件 |
检查与交付 |
|---|---|
每日或每班 |
连接与业务读写、延迟/错误、Pod 重启/资源、磁盘/inode、对象存储错误、备份新鲜度 |
每周 |
容量趋势、慢查询变化、任务/CDC 积压、权限变化、证书期限、备份链与保留期 |
每次变更前 |
版本兼容与存储格式、可恢复备份、批准清单、变更窗口、停止条件和恢复方案 |
周期性恢复演练 |
独立目标恢复、业务校验、实测 RPO/RTO、外部依赖和切回方案 |
故障发生时 |
冻结无关变更、定位层次、保存时间线/错误/日志、限定影响后恢复 |
告警按业务影响设计¶
告警类别 |
信号 |
首步处理 |
|---|---|---|
不可用/错误率 |
真实入口连接失败、认证失败、SQL 错误激增 |
分开检查入口/网络/身份/数据库与存储 |
延迟与拥塞 |
关键 SQL p95/p99、事务冲突、并发/任务积压 |
对照业务量、计划、CPU/内存/IO 与依赖变化 |
资源耗尽 |
OOMKilled、CPU 限流、磁盘/inode/spill 空间不足 |
保留事件与限额证据,降低负载;不删状态文件 |
数据/恢复风险 |
最近成功备份超龄、恢复失败、备份链缺失、存储错误 |
检查备份完整性与独立目标恢复,不只看作业退出码 |
后台作业 |
Task FAILED/TIMEOUT、CDC 断连/积压 |
核对历史、水位和已有写入,幂等重试 |
阈值、持续时间、负责人和升级路径由业务 SLO 与基线确定。具体指标名/label 以运行版本暴露的指标为准;不要把旧版截图和指标名作为已验证的告警规则。错误率低不等于数据正确,Pod Ready 不等于完整业务就绪。
故障排查顺序¶
从真实客户端复现,记录时间与时区、账号/租户、CN/入口、SQL、错误码、是否重试和影响范围。
核对最近版本、配置、schema、负载、凭证与网络变更,区分单 SQL、单 CN、租户和整集群。
收集服务状态、重启/OOM/调度事件、目标进程日志和资源趋势;先读证据,后修改参数或重启。
连接问题查路由/认证;慢查询查执行计划和资源;写入问题查权限/事务/存储;恢复问题查版本/格式/节点身份与备份链。
按批准方案修复并复验业务,再恢复流量。记录根因、实际恢复时间和后续行动。
MO_NAMESPACE=mo
kubectl get pods,pvc,svc -n "$MO_NAMESPACE" -o wide
kubectl get events -n "$MO_NAMESPACE" --sort-by=.lastTimestamp
选择受影响 Pod 后再查看其日志;不要把整个命名空间的 Secret、含凭证配置或客户数据打包公开。调试接口只在授权网络使用,保留部署方式和真实端口。
操作入口¶
这次验证了单 CN 的版本、写入、重启、固定 hostname 重建和 SQL 快照恢复;没有安装生产 Kubernetes 集群、演练多节点故障或执行跨版本升级。生产上线仍需自己的兼容性与恢复证据。