начать с заданного смещения с KakfaIO

Question

Я использую KafkaIO.read(), и я хотел бы начать потреблять с определенного смещения.

В какой-то момент для этого был метод KafkaIO.read().withStartFromCheckpointMark().

Из документации я вижу, что есть способ через:

KafkaCheckpointMark, предоставленный runner;

Как я могу это сделать?

Спасибо

Answer 1

Прямая поддержка отсутствует, но есть несколько вариантов:

• withStartReadTime() может быть более подходящим.
• Вы можете создать group.id и зафиксировать смещения вэта группа.Когда вы устанавливаете group.id в конфигурации KafkaConsumer, KafkaIO по умолчанию возобновляет работу со смещений, зафиксированных для группы.Вы также можете включить auto.commit в KafkaConsumer.См. «Расширенная настройка Kafka» в JavaDoc.