LAST_KAFKA_MESSAGE_ID()¶
LAST_KAFKA_MESSAGE_ID()返回本会话最近一次完成的 Kafka 外部表扫描返回的最后一条消息的 Kafka offset,扫描前为NULL。把它作为下一次的__mo_read_start_id即可精确一次地串联读取。
描述¶
LAST_KAFKA_MESSAGE_ID() 是一个会话内置函数,用于读取最近一次完成的 Kafka 外部表扫描的进度。该值只是会话状态,不会在代理连接迁移后保留;迁移后内置函数在下一次扫描前返回 NULL。
语法¶
SELECT LAST_KAFKA_MESSAGE_ID();
参数¶
LAST_KAFKA_MESSAGE_ID() 不接受任何参数。它读取最近一次完成的 Kafka 外部表扫描所记录的会话状态。
使用说明¶
会话中没有任何已完成的 Kafka 扫描时返回
NULL。在
autocommit=false时,把该值作为下一次的__mo_read_start_id会读取最后返回 offset 之后的消息,实现精确一次消费。进度只在整条语句成功时发布;中止或失败的语句不会推进该值。
示例¶
以下示例在无需 Kafka broker 的情况下展示扫描前的 NULL 值:
DROP DATABASE IF EXISTS kafka_id_demo;
CREATE DATABASE kafka_id_demo;
USE kafka_id_demo;
SELECT last_kafka_message_id();
DROP DATABASE kafka_id_demo;
串联读取需要可访问的 broker,因此仅作语法模板而非可直接粘贴执行的脚本:
SELECT * FROM kt WHERE __mo_read_start_id = 1000 AND __mo_read_size = 100000;
SELECT last_kafka_message_id(); -- e.g. 4711
SELECT * FROM kt WHERE __mo_read_start_id = 4711; -- continues after