CREATE SOURCE¶
CREATE SOURCE 语句已从 MatrixOne 中移除,解析器会拒绝
create source ...语句。
语法说明¶
CREATE SOURCE 已不再支持,create source src (id bigint) with (type = 'kafka') 等语句会被解析器拒绝。当前等价的流式数据源机制是外部表:Kafka 数据源使用 CREATE EXTERNAL TABLE ... ENGINE = KAFKA WITH (...),流式数据源使用 CREATE EXTERNAL TABLE ... ENGINE = datastream WITH (...)。
语法结构¶
CREATE EXTERNAL TABLE [IF NOT EXISTS] tbl_name
( column_name data_type [, ...] )
ENGINE = KAFKA
WITH ( property_name = expression [, ...]);
语法解释¶
tbl_name: 外部表名称,必须与当前数据库中任何现有的表名不同。
column_name: 外部表的列名,对应流式数据中的字段。
data_type: column_name 对应字段的数据类型。
property_name = expression: 外部表的具体配置项名以及对应的值,可配置项如下:
property_name |
expression 描述 |
|---|---|
“brokers” |
Kafka 服务器地址,逗号分隔的 host:port 列表(必填) |
“topic” |
Kafka 数据源中对应的 topic(必填) |
“partition” |
Kafka 数据源中对应的 partition(默认 0) |
“autocommit” |
是否自动提交读取进度,取值为 true 或 false(默认 false) |
“group” |
消费者组名称,用于记录已提交的读取位点 |
“format” |
数据格式,仅支持 ‘csv’ 或 ‘jsonl’(默认 ‘csv’) |
“separator” |
CSV 字段分隔符,单个字符(默认 ‘,’),仅当 format 为 csv 时有效 |
示例¶
create external table stream_test(c1 char(25),c2 varchar(500),c3 text) engine = kafka with(
"brokers"='127.0.0.1:9092',
"topic"= 'test',
"partition" = '0',
"format"= 'jsonl'
);
限制¶
Kafka 外部表目前仅支持明文连接(暂不支持 SASL/TLS),数据格式仅支持 csv 和 jsonl。