内核可观测性与排障

实现基线为 v4.2.5。Pod/端口健康、SQL 成功、事务可提交和数据追平是不同信号。排障先保存现场与标识,再按链路定位。

建立证据

记录客户端时间、SQL 与参数、DDL、数据规模、构建/config、CN/TN/service ID、事务/查询 ID、错误号/SQLSTATE;再采集同时间段指标、服务日志和必要 profile。脱敏参数和凭据,保留用于关联的标识。

症状

先区分

证据/源码范围

查询慢

计划扫描/倾斜、CPU、内存/Spill、存储、背压

EXPLAIN/实际运行统计,Pipeline/对象读取

提交慢

锁等待、准备、WAL、多数派/网络

txn/lock 日志、事务指标、等待 profile

其他 CN 未见修改

源提交、目标快照、订阅/水位、对象错误

Logtail 日志与指标,表/事务 ID

内存/磁盘压力

受控分配、原生域、临时磁盘/FD、历史保护

分配终态、Spill、系统资源、GC

重启慢/失败

bootstrap、Checkpoint、Replay、Catalog、ready

阶段日志、Checkpoint/LSN、存储错误

空间不下降

Merge、GC、Snapshot/PITR/分支保护

对象与后台进度、保护状态

指标与 profile

指标名称/标签以 pkg/util/metric/v2 和目标构建的 dashboard 为准。事务、Logtail、Pipeline、FileService 有不同指标族;系统 RSS 和受控分配账本不是同一量。用同一时间窗口关联速率、累计值和延迟分布,避免用单个瞬时值断言原因。

mo-service --debug-http 可暴露 pprof;block/mutex profile 需要对应采样参数。采样成本、监听地址和采集权限由部署控制。先识别 CPU、分配、锁竞争或阻塞,再选 profile;不直接把 profile 开启当作故障修复。

排障步骤与完成标准

  1. 重现最小 SQL/负载,确认正确结果和发生的失败。

  2. 标出链路阶段;只改变一个条件,保存前后相同指标。

  3. 对照固定源码的等待/分配/释放点;区分相关性和证明。

  4. 修复后验证结果、延迟/吞吐、资源终态,并覆盖取消或重试。

关键不变量:诊断操作不能破坏恢复依据;故障结束后资源应按其生命周期释放。缓存暖化、任务追平和存储保护解除可能需要不同完成条件。

参考 profiling 参数、EXPLAIN、资源监控。

源码与回归入口