内核可观测性与排障¶
实现基线为 v4.2.5。Pod/端口健康、SQL 成功、事务可提交和数据追平是不同信号。排障先保存现场与标识,再按链路定位。
建立证据¶
记录客户端时间、SQL 与参数、DDL、数据规模、构建/config、CN/TN/service ID、事务/查询 ID、错误号/SQLSTATE;再采集同时间段指标、服务日志和必要 profile。脱敏参数和凭据,保留用于关联的标识。
症状 |
先区分 |
证据/源码范围 |
|---|---|---|
查询慢 |
计划扫描/倾斜、CPU、内存/Spill、存储、背压 |
EXPLAIN/实际运行统计,Pipeline/对象读取 |
提交慢 |
锁等待、准备、WAL、多数派/网络 |
txn/lock 日志、事务指标、等待 profile |
其他 CN 未见修改 |
源提交、目标快照、订阅/水位、对象错误 |
Logtail 日志与指标,表/事务 ID |
内存/磁盘压力 |
受控分配、原生域、临时磁盘/FD、历史保护 |
分配终态、Spill、系统资源、GC |
重启慢/失败 |
bootstrap、Checkpoint、Replay、Catalog、ready |
阶段日志、Checkpoint/LSN、存储错误 |
空间不下降 |
Merge、GC、Snapshot/PITR/分支保护 |
对象与后台进度、保护状态 |
指标与 profile¶
指标名称/标签以 pkg/util/metric/v2 和目标构建的 dashboard 为准。事务、Logtail、Pipeline、FileService 有不同指标族;系统 RSS 和受控分配账本不是同一量。用同一时间窗口关联速率、累计值和延迟分布,避免用单个瞬时值断言原因。
mo-service --debug-http 可暴露 pprof;block/mutex profile 需要对应采样参数。采样成本、监听地址和采集权限由部署控制。先识别 CPU、分配、锁竞争或阻塞,再选 profile;不直接把 profile 开启当作故障修复。
排障步骤与完成标准¶
重现最小 SQL/负载,确认正确结果和发生的失败。
标出链路阶段;只改变一个条件,保存前后相同指标。
对照固定源码的等待/分配/释放点;区分相关性和证明。
修复后验证结果、延迟/吞吐、资源终态,并覆盖取消或重试。
关键不变量:诊断操作不能破坏恢复依据;故障结束后资源应按其生命周期释放。缓存暖化、任务追平和存储保护解除可能需要不同完成条件。
参考 profiling 参数、EXPLAIN、资源监控。