Как KSQL читает (использует msgs) данные из темы, уже содержащей некоторые сообщения - PullRequest
0 голосов
/ 15 октября 2018

Я создал поток из Kafka, используя KSQL для темы Kafka, которая уже содержит некоторые сообщения.Но не получил ни одного сообщения из этой темы в созданный поток.Сообщения в формате Avro и генерируются через некоторое время.

Я хочу читать с начала, т.е. с самого раннего сообщения.Также попытался установить свойство смещения как можно раньше, но не получил ни одного сообщения.

create stream sample_transition with(topic_name='transition',value_format='avro');

1 Ответ

0 голосов
/ 16 октября 2018

Вам необходимо правильно настроить auto.offset.reset.По умолчанию это "последний".Если вы хотите, чтобы новый запрос считывал все данные из темы, вам нужно установить его как "самый ранний".

ksql> SET 'auto.offset.reset'='earliest';

Сравнить: https://docs.confluent.io/current/ksql/docs/installation/server-config/config-reference.html#ksql-streams-auto-offset-reset

...