IVF 索引健康检查¶
IVF 索引将向量分配到多个聚类中心。查看各中心的向量分布,可以发现负载倾斜、空中心或数据增长后的索引退化。
建索引时机¶
先写入具有代表性的数据,再创建 IVF 索引。索引创建时使用的数据分布会影响聚类中心;如果只用空表或很少的数据建索引,后续数据增长后应重新检查分布。
英文示例建议生产环境在创建索引前装入约 1,000 条以上的代表性向量,但这只是教程给出的经验建议,不是硬性下限。教程中的 100 行数据样例仅用于演示 API;生产 lists 参数应根据实际数据和查询测试调整。
获取分布并计算指标¶
stats = client.vector_ops.get_ivf_stats("ivf_health_demo_docs", "embedding")
counts = stats["distribution"]["centroid_count"]
if counts:
total_vectors = sum(counts)
min_count = min(counts)
max_count = max(counts)
balance_ratio = max_count / min_count if min_count else float("inf")
utilization = total_vectors / len(counts)
balance_ratio= 最大中心向量数 / 最小中心向量数。比值越高,分布越不均匀;若最小值为 0,比值按无穷大处理。utilization= 向量总数 / 中心数,用于观察每个中心平均分到多少向量。get_ivf_stats()的distribution包含中心 ID、每个中心的向量数和中心版本等信息。
教程给出的参考区间:
指标 |
参考值 |
建议 |
|---|---|---|
负载均衡率 |
< 1.5 |
分布较均衡 |
负载均衡率 |
1.5–2.0 |
可接受,继续观察 |
负载均衡率 |
2.0–3.0 |
密切监控 |
负载均衡率 |
> 3.0 |
检查数据分布并评估重建 |
平均利用率 |
< 5 |
可能中心过多,可测试降低 |
平均利用率 |
10–100 |
教程给出的参考区间 |
平均利用率 |
> 100 |
可测试增加 |
这些区间是排查起点,不保证对所有数据集和查询都适用。还应验证查询结果与执行计划。
选择 lists 和重建¶
教程给出的初始经验公式是 lists ≈ √N(N 为向量数),并提供按数据量估算列表数的参考表。将其作为候选值,然后用代表性查询比较耗时、召回和分布指标。
当负载均衡率持续偏高、出现空中心,或批量导入后查询表现退化时,可评估重建索引。教程建议的低停机步骤是:
使用新的索引名创建候选索引。
检查候选索引和查询结果。
确认新索引可用后,再删除旧索引。
数据批量变化后应重新读取统计信息,并与变化前的结果比较。不要只凭单个指标自动重建。
相关文档¶
IVF排名选项:查询排名路径与EXPLAIN验证。