Kubernetes Operator 操作验收

本指南补充Operator 管理和生产部署验收。参考 Operator commit 10aef15c57f98f92b442d79810f8ad3d53bbd85b 的 chart、CRD 和控制器;示例不构成该 Operator 与所有 MO/K8s 版本的兼容承诺。

版本与离线准备

分别记录 K8s server、MO 镜像 digest、Operator chart/version、controller 镜像、备份镜像和 CRD 来源。chart appVersion 不是数据库版本。预先确认 StorageClass、对象存储 endpoint/独立前缀、同命名空间 Secret、镜像仓库访问和 webhook 可达性。

离线安装需要 chart 及其依赖、全部 controller/backup/Kruise/MO 镜像和凭证配置,不能只复制 MO 镜像。根据所选 chart values 编写 operator-values.yaml(镜像地址、资源、调度、watch 范围等),再渲染:

export OP_NS=matrixone-operator
export MO_NS=mo
export OP_RELEASE=mo-operator
export MO_CLUSTER=mo
export OP_CHART=/path/to/approved/matrixone-operator.tgz
helm show chart "$OP_CHART"
helm show values "$OP_CHART" > operator-defaults.yaml
helm template "$OP_RELEASE" "$OP_CHART" -n "$OP_NS" \
  -f operator-values.yaml > operator-rendered.yaml

检查渲染的镜像、RBAC、Service/Webhook、CRD 和 watch 范围;onlyWatchReleasedNS 启用时必须确认 MO 所在 namespace 在控制器监听范围。渲染不验证集群网络或调谐。安装命令:

helm upgrade --install "$OP_RELEASE" "$OP_CHART" -n "$OP_NS"   --create-namespace -f operator-values.yaml --wait --timeout 10m

已有安装升级前,保存 helm get values --all、helm get manifest 和 CR/CRD。检查所选 chart 如何交付 CRD(templates 或 crds 目录),不能假设 Helm upgrade 自动迁移所有 CRD。评估 schema 变更、webhook 默认值、资源重建和 MO 重启影响;Helm rollback 不回滚数据库数据或 CRD schema。

提交 CR 与检查就绪

从固定版本 MO cluster 示例开始,替换 MO 版本、存储、副本、资源和调度。示例默认资源不是生产容量计划。先使用目标集群服务端 dry-run:

kubectl -n "$MO_NS" apply --dry-run=server -f mo.yaml
kubectl -n "$MO_NS" apply -f mo.yaml
helm list -n "$OP_NS"
kubectl -n "$OP_NS" get deploy,pods
kubectl -n "$MO_NS" get matrixonecluster "$MO_CLUSTER" -o yaml
kubectl -n "$MO_NS" get cnsets,dnsets,logsets,pods,svc,pvc
kubectl -n "$MO_NS" get events --sort-by=.metadata.creationTimestamp

分别确认 controller 可用、CR conditions/phase、各组件期望与就绪副本、Pod events、PVC 和对象存储访问。Helm deployed、Pod Running 或条件 Ready 都不能替代客户端连接与 SQL 验收。通过实际 Service/Proxy 地址连接,在专用测试数据库建表、写入、独立连接回读,并记录版本与预期结果。

故障定位

现象

优先检查

CR 被拒绝

CRD apiVersion/schema、webhook Service/endpoints/证书、字段校验错误

CR 长期不就绪

status.conditions 的 reason/message、observedGeneration(若该版本提供)、controller 日志及 watch 范围

Pod Pending

调度 event、requests、taint/affinity、PVC/StorageClass

ImagePullBackOff

镜像 tag/digest、节点仓库网络、imagePullSecrets 的 namespace

CrashLoopBackOff

kubectl logs POD --previous、退出码、启动配置、对象存储权限和端口

连接失败

Service/endpoints、Proxy/CN Ready、NetworkPolicy、认证与实际监听端口

controller 日志先通过 kubectl get deploy 获取实际 deployment 名,避免从首个 Pod 猜测。只修改 owning CR/Helm values,不直接改 Operator 管理的 Pod;控制器会调谐覆盖。扩缩 CN 前核对 CR、资源余量和连接行为;不将缩 TN/LogService 当作通用扩缩容示例。

备份、恢复和成功判据

以下结构示例需替换 namespace、源集群、存储 endpoint/前缀和 Secret:

apiVersion: core.matrixorigin.io/v1alpha1
kind: BackupJob
metadata:
  name: acceptance-backup
  namespace: mo
spec:
  source:
    clusterRef: mo
  target:
    s3:
      type: minio
      endpoint: http://minio.default:9000
      path: acceptance/backup-01
      secretRef:
        name: minio
kubectl -n "$MO_NS" apply --dry-run=server -f backup.yaml
kubectl -n "$MO_NS" apply -f backup.yaml
kubectl -n "$MO_NS" wait --for=condition=Ended backupjob/acceptance-backup --timeout=10m
kubectl -n "$MO_NS" get backupjob acceptance-backup -o yaml
kubectl -n "$MO_NS" get backups

Ended=True 也可能是失败。当前控制器成功设置 phase=Completed 并填写 status.backup;失败设置 phase=Failed。检查备份引用及错误记录,再用独立集群、独立对象存储前缀和受支持 MO 版本恢复。restoreFrom 引用 Backup 资源,不能直接用 BackupJob 名或 mo_br 的 UUID 替代。核对 schema、主键、全部字段、NULL 与业务查询,记录恢复耗时及数据恢复点;恢复启动成功不等于数据正确。

删除与数据保留

删除 MatrixOneCluster 会触发其管理资源的清理。操作前记录 ownerReferences/finalizers、PVC 的删除策略、PV reclaimPolicy、Kruise retention 配置、对象存储前缀和独立备份。删除 namespace 还会影响 Secret、Backup 等命名空间资源;卸载 Operator 可能停止调谐;删除 CRD 会删除对应自定义资源。不能统一承诺“保留所有数据”或“清空所有数据”。先在隔离集群演练所选版本的行为。finalizer 阻塞时先诊断 controller,不通过强删 finalizer 代替正常清理。

验证范围

YAML 解析、固定 CRD schema 校验、Helm 渲染和 shell 语法检查是静态检查。server dry-run、真实部署、故障接管、跨版本升级、恢复与删除演练必须在具备权限的隔离 K8s 集群完成,并分别记录证据。不得把本地静态通过标成已通过生产生命周期验证。