向量检索

什么是向量检索

向量检索按照选定的距离或相似度度量,从向量数据集中找出与查询向量最接近的 K 个向量(K 近邻,KNN),常用于图像、文本、语音检索和推荐系统。标量检索根据条件筛选结构化字段;向量检索则按相似程度对向量排序,这些向量通常由非结构化数据生成。全量扫描可以得到所选度量下精确的前 K 个结果;近似最近邻索引可能以召回率换取查询速度。

对比项目

标量检索

向量检索

存储数据

结构化字段,例如 age

向量或 Embedding,通常由非结构化数据生成

查询方式

精确条件:SELECT * FROM people WHERE age = 18;

最近邻查询:SELECT id, l2_distance(embedding, '[0.3,0.3,0.3,0.3,0.3]') AS distance FROM items ORDER BY distance ASC LIMIT 3;

查询结果

满足条件的行,例如 name = 'x', age = 18

按距离从近到远排列的 3 行,例如 id = 'C', distance = 1.76717

Matrixone 目前支持使用以下距离度量函数进行向量检索:

备注

向量索引支持 vector_l2_ops、vector_ip_ops、vector_cosine_ops 和 vector_l2sq_ops 等距离度量。HNSW 等索引类型支持的度量子集可能不同,具体以相应索引文档为准。当前运行时不支持 l1_distance() SQL 函数。

基于索引的最小流程

如需快速完成一个自包含的 KNN 测试,可以按以下顺序执行:

  1. 创建包含向量列的表,并插入示例向量。

  2. 在表中已有数据后创建 IVFFLAT 索引。索引语法和调优参数请参阅 CREATE INDEX USING IVFFLAT。

  3. 使用 ORDER BY l2_distance(向量列, 查询向量) ASC 查询;只需要最近邻结果时使用 LIMIT。

  4. 检查返回结果,测试完成后删除临时表。

完整的可运行示例请参阅 CREATE INDEX USING IVFFLAT。下面的 Iris 示例需要加载外部文件,不是完成最小向量检索测试的必要步骤。

向量检索的应用场景

数据库拥有向量能力意味着数据库系统具备存储、查询和分析向量数据的能力。这些向量通常与复杂的数据分析、机器学习和数据挖掘任务相关。以下是数据库拥有向量处理能力后的部分应用场景:

  • 生成式 AI 应用程序:这些数据库可以作为生成式 AI 应用程序的后端,使它们能够根据用户提供的查询获取最近邻结果,提高输出质量和相关性。

  • 高级对象识别:它们对于开发识别不同数据集之间相似性的高级对象识别平台是无价的。这在抄袭检测、面部识别和 DNA 匹配等领域都有实际应用。

  • 个性化推荐系统:矢量数据库可以通过整合用户偏好和选择来增强推荐系统。这将带来更准确、更有针对性的推荐,从而改善用户体验和参与度。

  • 异常检测:向量数据库可以用来存储代表正常行为的特征向量。然后可以通过比较输入向量和存储向量来检测异常。这在网络安全和工业质量控制中很有用。

  • 营销优化:通过对用户数据的分析和挖掘,向量数据库能够实现个性化推荐、客户细分和市场趋势预测等功能,为企业提供精准的营销策略。

  • 自然语言处理:向量数据库可以处理大规模文本数据,实现语义相似性搜索、文本分类、文档聚类等自然语言处理任务,广泛应用于智能客服、舆情分析等领域。

  • 语义搜索和检索:在涉及大型语言模型的应用中,向量数据库可以存储和检索海量的文本向量,通过计算向量之间的相似度,实现智能的文本匹配和语义搜索。

示例

鸢尾花数据集是一个著名的多类分类数据集,可自行在网上搜索并下载。此数据集包含 150 个样本,分为 3 个类别:Iris Setosa(山鸢尾)、Iris Versicolour(变色鸢尾)和 Iris Virginica(维吉尼亚鸢尾)。每个样本有 4 个特征:花萼长度、花萼宽度、花瓣长度和花瓣宽度。下面我们在鸢尾花数据集上执行 KNN 查询(基于 l2_distance),根据鸢尾花的特征找出与某个特定样本最相似的 K 个样本,从而确定该样本的种类。

  1. 建立鸢尾花表并导入数据

    准备一个名为 iris_table 的表以及对应的鸢尾花数据集数据,数据集共有 150 行数据,每行由一个四维的特征向量和种类组成。

    CREATE TABLE iris_table(
        species varchar(100), -- 类别
        attributes vecf64(4) -- 特征
        );
    LOAD DATA INFILE '/your_path/iris.csv' INTO TABLE iris_table;
    
  2. 使用 KNN 来预测这个输入特征的类别

    mysql>  select * from iris_table order by l2_distance(attributes,"[4,3.3,3,0.9]") asc limit 1;
    +------------------+--------------------+
    | species          | attributes         |
    +------------------+--------------------+
    | Iris-versicolour | [4.9, 2.4, 3.3, 1] |
    +------------------+--------------------+
    1 row in set (0.00 sec)
    
    mysql>  select * from iris_table order by l2_distance(attributes,"[4,3.3,3,0.9]") asc limit 5;
    +------------------+----------------------+
    | species          | attributes           |
    +------------------+----------------------+
    | Iris-versicolour | [4.9, 2.4, 3.3, 1]   |
    | Iris-versicolour | [5.1, 2.5, 3, 1.1]   |
    | Iris-versicolour | [5, 2.3, 3.3, 1]     |
    | Iris-setosa      | [4.8, 3.4, 1.9, 0.2] |
    | Iris-versicolour | [5.2, 2.7, 3.9, 1.4] |
    +------------------+----------------------+
    5 rows in set (0.00 sec)
    

经过检索,我们可以大致确定该样本类型为变色鸢尾。

如需了解向量检索在构建 RAG 应用上的作用,请参考查看应用开发示例中的 RAG 应用基础示例。

参考文档

向量数据类型

L2_DISTANCE()