CREATE FULLTEXT2 INDEX

在文本列上创建 FULLTEXT2 索引,以便使用 MATCH ... AGAINST 检索行。FULLTEXT2 是一个 WAND 位置式引擎,其自然语言模式为精确短语匹配,并受 experimental_fulltext2_index 会话变量(默认关闭)控制。

描述

CREATE FULLTEXT2 INDEX 在一个或多个文本列上构建全文索引。查询使用 MATCH(cols) AGAINST ('query' [mode]) 检索匹配行。FULLTEXT2 的自然语言模式是精确、连续的短语匹配,不同于传统全文的词袋自然语言;布尔模式支持 +/-/~/</>/(/)/*/"..." 运算符,IN BM25 MODE 则执行 BM25 排序检索。

该索引受 experimental_fulltext2_index(默认关闭)控制,创建或查询前必须先启用。独立的 CREATE FULLTEXT2 INDEX 会基于现有行同步构建基础索引;创建之后的 DML 通过 CDC 异步流入索引。

语法

CREATE FULLTEXT2 INDEX [index_name] ON table_name (index_column_list)
    [index_option_list];

-- or inline, on a column definition:
CREATE TABLE t (
    id BIGINT PRIMARY KEY,
    body TEXT,
    FULLTEXT2 [index_name] (body)
);

参数

选项

说明

PARSER ngram

默认解析器:CJK 滑动 3-gram,拉丁文按整词分词。

PARSER gojieba

面向中文文本的词典分词。

PARSER json

展平 JSON 值并以 ngram 分词方式建立索引。

PARSER json_value

将每个 JSON 叶子值作为单个完整原子 token 建索引,精确匹配。

MAX_INDEX_CAPACITY n

每个分段的文档数上限;达到该值或 MAX_POSTINGS_CAPACITY 时分段封存。

MAX_POSTINGS_CAPACITY n

每个分段的词项出现次数上限;限制分段构建内存。

`POSITION_FREE = TRUE

FALSE`

`AUTO_UPDATE = TRUE

FALSE`

DAY n、HOUR n、SECOND n

自动更新压缩的周期。

INCLUDE (cols)

将所选标量列的类型化值存入索引,使其上的 WHERE 谓词在索引内求值,其 SELECT 也可由索引提供。

MERGE

(重建)折叠基础子分段。

FORCE_SYNC

(重建)在 ALTER 期间内联执行合并或重建,而非在后台执行。

检索模式

模式

说明

IN NATURAL LANGUAGE MODE(默认)

精确、连续的短语匹配。

IN BOOLEAN MODE

+/-/~/</>/(/)/*/"..." 运算符。

IN BM25 MODE

BM25 排序的词袋检索。

在 IN BOOLEAN MODE 中,未配对的双引号返回空匹配而不是内部错误;成对的双引号仍用于短语检索。

示例

DROP DATABASE IF EXISTS fulltext2_demo;
CREATE DATABASE fulltext2_demo;
USE fulltext2_demo;

SET experimental_fulltext2_index = 1;

CREATE TABLE docs (id BIGINT PRIMARY KEY, body TEXT);
INSERT INTO docs VALUES
 (0, 'the quick brown fox jumps'),
 (1, 'a quick brown dog'),
 (2, 'the lazy fox sleeps'),
 (3, 'brown bear and lazy cat'),
 (4, 'quick quick quick fox fox');

CREATE FULLTEXT2 INDEX ft ON docs(body);

-- exact phrase in natural-language mode
SELECT id FROM docs WHERE MATCH(body) AGAINST('quick brown fox') ORDER BY id;

-- boolean mode
SELECT id FROM docs WHERE MATCH(body) AGAINST('+quick +fox' IN BOOLEAN MODE) ORDER BY id;

-- BM25 mode
SELECT id FROM docs WHERE MATCH(body) AGAINST('lazy' IN BM25 MODE) ORDER BY id;

DROP DATABASE fulltext2_demo;

相关参考