Потоковая обработка от определенного смещения до конечного смещения - PullRequest
0 голосов
/ 30 октября 2019

Можно ли выполнить обработку потока kafka от определенного смещения входной темы до конечного смещения?

У меня есть одно потоковое приложение Kafka, которое использует тему ввода, но по какой-то причине не удалось. Я исправил проблему и начал ее снова, но она начала потреблять с последнего смещения входной темы. Я знаю смещение входной темы, до которой обработано приложение. Теперь, как я могу обработать входную тему от одного смещения к другому. Я использую Confluent Platform 5.1.2.

1 Ответ

2 голосов
/ 30 октября 2019

По умолчанию KStreams поддерживает два возможных значения для auto.offset.reset. Это может быть либо " самое раннее ", либо " самое последнее ". Вы не можете установить конкретное смещение в коде приложения.

Во время сброса приложения есть опция. Если вы используете скрипт сброса приложения, вы можете использовать свойство --to-offset и назначить его для определенного смещения. Приложение вернется к этой точке.

<path-to-confluent>/bin/kafka-streams-application-reset --application-id app1 --input-topics a,b --to-offset 1000

Подробности можно найти в документации:
https://docs.confluent.io/5.1.2/streams/developer-guide/app-reset-tool.html

В случае, если вы исправляете ошибки, онобудет лучше вернуться в самое раннее состояние, если это возможно.

...