Есть ли у нас возможность получать данные в K SQL потоках из указанного c time-period / Timestamp

Question

Я знаю, в K SQL мы можем установить смещение на самое раннее или самое позднее Но можем ли мы получить данные из указанного c периода времени, т.е. мне нужно вставить данные в топ c с 06-мая-2020 ?

Answer 1

В ksqlDB вы можете запрашивать с начала (SET 'auto.offset.reset' = 'earliest';) или конца топа c (SET 'auto.offset.reset' = 'latest';).

В настоящее время (0.8.1 / CP 5.5) вы не можете искать произвольное смещение.

То, что вы можете , - это начать с самого раннего смещения, а затем использовать ROWTIME в своем предикате для идентификации сообщений, соответствующих вашему требованию.

SELECT * 
  FROM MY_SOURCE_STREAM 
WHERE  ROWTIME>=1588772149620

Обратите внимание, что сканирование выполняется последовательно, поэтому в зависимости от того, сколько данных у вас в топи, c может быть не очень быстрым.