CREATE INDEX USING IVFFLAT
语法说明
向量索引可用于加速对包含向量列的表的 KNN(K-Nearest Neighbors)查询。Matrixone 目前支持具有 l2_distance
度量的 IVFFLAT 向量索引。
我们可以指定 PROBE_LIMIT 来决定要查询的聚类中心数量。PROBE_LIMIT 默认为 1,即仅扫描 1 个聚类中心。但如果您将其设置为更高的值,它会扫描更多数量的聚类中心和向量,这使得性能可能会下降一点,但准确率会上升。我们可以指定适当的探针数量来平衡查询速度和召回率。PROBE_LIMIT 的理想值为:
- 如果总行数<1000000:PROBE_LIMIT=总行数/10
- 如果总行数>1000000:PROBE_LIMIT=sqrt(总行数)
语法结构
> CREATE INDEX index_name
USING IVFFLAT
ON tbl_name (col,...)
LISTS=lists
OP_TYPE "vector_l2_ops"
语法释义
index_name
:索引名称IVFFLAT
:向量索引类型,目前支持 vector_l2_opslists
:索引中所需的分区数,必须大于 0OP_TYPE
:要使用的距离度量
NOTE:
- LISTS 的理想值为:
- 如果总行数<1000000:lists=总行数/1000
- 如果总行数>1000000:lists=sqrt(总行数)
- 建议在数据填充完毕后再创建索引,如果在空表上创建向量索引,则所有向量量都将映射到一个分区,随着时间的推移,数据量不断增长,导致索引变得越来越大,查询性能会下降。
示例
--需设置参数 experimental_ivf_index 值为 1(默认 0)才能使用向量索引
SET GLOBAL experimental_ivf_index = 1;
drop table if exists t1;
create table t1(coordinate vecf32(2),class char);
-- 有七个点,每个点代表其在 x 和 y 轴上的坐标,并且每个点的 class 被标记为 A 或 B。
insert into t1 values("[2,4]","A"),("[3,5]","A"),("[5,7]","B"),("[7,9]","B"),("[4,6]","A"),("[6,8]","B"),("[8,10]","B");
--创建向量索引
create index idx_t1 using ivfflat on t1(coordinate) lists=1 op_type "vector_l2_ops";
mysql> show create table t1;
+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table | Create Table |
+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| t1 | CREATE TABLE `t1` (
`coordinate` VECF32(2) DEFAULT NULL,
`class` CHAR(1) DEFAULT NULL,
KEY `idx_t1` USING ivfflat (`coordinate`) lists = 1 op_type 'vector_l2_ops'
) |
+-------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.01 sec)
mysql> show index from t1;
+-------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+-----------------------------------------+---------+------------+
| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment | Index_params | Visible | Expression |
+-------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+-----------------------------------------+---------+------------+
| t1 | 1 | idx_t1 | 1 | coordinate | A | 0 | NULL | NULL | YES | ivfflat | | | {"lists":"1","op_type":"vector_l2_ops"} | YES | NULL |
+-------+------------+----------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+-----------------------------------------+---------+------------+
1 row in set (0.01 sec)
--设置扫描的聚类中心数量
SET @PROBE_LIMIT=1;
--现在,我们有一个新点,其坐标为 (4, 4),我们想要使用 KNN 查询来预测这个点的类别。
mysql> select * from t1 order by l2_distance(coordinate,"[4,4]") asc;
+------------+-------+
| coordinate | class |
+------------+-------+
| [3, 5] | A |
| [2, 4] | A |
| [4, 6] | A |
| [5, 7] | B |
| [6, 8] | B |
| [7, 9] | B |
| [8, 10] | B |
+------------+-------+
7 rows in set (0.01 sec)
--根据查询结果可预测这个点的类别为 A
限制
一次只支持在一个向量列上建立向量索引,如需在多个向量列上建立向量索引,可多次执行创建语句。