CREATE SOURCE

CREATE SOURCE 语句已从 MatrixOne 中移除,解析器会拒绝 create source ... 语句。

语法说明

CREATE SOURCE 已不再支持,create source src (id bigint) with (type = 'kafka') 等语句会被解析器拒绝。当前等价的流式数据源机制是外部表:Kafka 数据源使用 CREATE EXTERNAL TABLE ... ENGINE = KAFKA WITH (...),流式数据源使用 CREATE EXTERNAL TABLE ... ENGINE = datastream WITH (...)。

语法结构

CREATE EXTERNAL TABLE [IF NOT EXISTS] tbl_name
( column_name data_type [, ...] )
ENGINE = KAFKA
WITH ( property_name = expression [, ...]);

语法解释

  • tbl_name: 外部表名称,必须与当前数据库中任何现有的表名不同。

  • column_name: 外部表的列名,对应流式数据中的字段。

  • data_type: column_name 对应字段的数据类型。

  • property_name = expression: 外部表的具体配置项名以及对应的值,可配置项如下:

property_name

expression 描述

“brokers”

Kafka 服务器地址,逗号分隔的 host:port 列表(必填)

“topic”

Kafka 数据源中对应的 topic(必填)

“partition”

Kafka 数据源中对应的 partition(默认 0)

“autocommit”

是否自动提交读取进度,取值为 true 或 false(默认 false)

“group”

消费者组名称,用于记录已提交的读取位点

“format”

数据格式,仅支持 ‘csv’ 或 ‘jsonl’(默认 ‘csv’)

“separator”

CSV 字段分隔符,单个字符(默认 ‘,’),仅当 format 为 csv 时有效

示例

create external table stream_test(c1 char(25),c2 varchar(500),c3 text) engine = kafka with(
    "brokers"='127.0.0.1:9092',
    "topic"= 'test',
    "partition" = '0',
    "format"= 'jsonl'
);

限制

Kafka 外部表目前仅支持明文连接(暂不支持 SASL/TLS),数据格式仅支持 csv 和 jsonl。