LAST_KAFKA_MESSAGE_ID()

LAST_KAFKA_MESSAGE_ID() 返回本会话最近一次完成的 Kafka 外部表扫描返回的最后一条消息的 Kafka offset,扫描前为 NULL。把它作为下一次的 __mo_read_start_id 即可精确一次地串联读取。

描述

LAST_KAFKA_MESSAGE_ID() 是一个会话内置函数,用于读取最近一次完成的 Kafka 外部表扫描的进度。该值只是会话状态,不会在代理连接迁移后保留;迁移后内置函数在下一次扫描前返回 NULL。

语法

SELECT LAST_KAFKA_MESSAGE_ID();

参数

LAST_KAFKA_MESSAGE_ID() 不接受任何参数。它读取最近一次完成的 Kafka 外部表扫描所记录的会话状态。

使用说明

  • 会话中没有任何已完成的 Kafka 扫描时返回 NULL。

  • 在 autocommit=false 时,把该值作为下一次的 __mo_read_start_id 会读取最后返回 offset 之后的消息,实现精确一次消费。

  • 进度只在整条语句成功时发布;中止或失败的语句不会推进该值。

示例

以下示例在无需 Kafka broker 的情况下展示扫描前的 NULL 值:

DROP DATABASE IF EXISTS kafka_id_demo;
CREATE DATABASE kafka_id_demo;
USE kafka_id_demo;

SELECT last_kafka_message_id();

DROP DATABASE kafka_id_demo;

串联读取需要可访问的 broker,因此仅作语法模板而非可直接粘贴执行的脚本:

SELECT * FROM kt WHERE __mo_read_start_id = 1000 AND __mo_read_size = 100000;
SELECT last_kafka_message_id();   -- e.g. 4711
SELECT * FROM kt WHERE __mo_read_start_id = 4711;  -- continues after

相关参考