IVF 索引健康检查

IVF 索引将向量分配到多个聚类中心。查看各中心的向量分布,可以发现负载倾斜、空中心或数据增长后的索引退化。

建索引时机

先写入具有代表性的数据,再创建 IVF 索引。索引创建时使用的数据分布会影响聚类中心;如果只用空表或很少的数据建索引,后续数据增长后应重新检查分布。

英文示例建议生产环境在创建索引前装入约 1,000 条以上的代表性向量,但这只是教程给出的经验建议,不是硬性下限。教程中的 100 行数据样例仅用于演示 API;生产 lists 参数应根据实际数据和查询测试调整。

获取分布并计算指标

stats = client.vector_ops.get_ivf_stats("ivf_health_demo_docs", "embedding")
counts = stats["distribution"]["centroid_count"]

if counts:
    total_vectors = sum(counts)
    min_count = min(counts)
    max_count = max(counts)
    balance_ratio = max_count / min_count if min_count else float("inf")
    utilization = total_vectors / len(counts)
  • balance_ratio = 最大中心向量数 / 最小中心向量数。比值越高,分布越不均匀;若最小值为 0,比值按无穷大处理。

  • utilization = 向量总数 / 中心数,用于观察每个中心平均分到多少向量。

  • get_ivf_stats() 的 distribution 包含中心 ID、每个中心的向量数和中心版本等信息。

教程给出的参考区间:

指标

参考值

建议

负载均衡率

< 1.5

分布较均衡

负载均衡率

1.5–2.0

可接受,继续观察

负载均衡率

2.0–3.0

密切监控

负载均衡率

> 3.0

检查数据分布并评估重建

平均利用率

< 5

可能中心过多,可测试降低 lists

平均利用率

10–100

教程给出的参考区间

平均利用率

> 100

可测试增加 lists

这些区间是排查起点,不保证对所有数据集和查询都适用。还应验证查询结果与执行计划。

选择 lists 和重建

教程给出的初始经验公式是 lists ≈ √N(N 为向量数),并提供按数据量估算列表数的参考表。将其作为候选值,然后用代表性查询比较耗时、召回和分布指标。

当负载均衡率持续偏高、出现空中心,或批量导入后查询表现退化时,可评估重建索引。教程建议的低停机步骤是:

  1. 使用新的索引名创建候选索引。

  2. 检查候选索引和查询结果。

  3. 确认新索引可用后,再删除旧索引。

数据批量变化后应重新读取统计信息,并与变化前的结果比较。不要只凭单个指标自动重建。

相关文档