2 приложения Spark не могут использовать одну и ту же тему Kafka, используя один и тот же идентификатор группы

Question

У меня есть тема Кафки с несколькими разделами. У меня есть приложение spark, которое подписывается на эту тему с помощью Dstream. Когда я запускаю другой экземпляр этого приложения, первое приложение выдает исключение

Исключение в ветке "main" java.lang.IllegalStateException: Нет текущего назначения для раздела my-topic-0

и выходит.

Answer 1

В обычном сценарии, когда не используется искра, и если мы запускаем два пользователя kafka с одинаковым идентификатором группы, и если в теме есть только один раздел, второй потребитель становится бездействующим / устаревшим. Для того, чтобы получить одно и то же сообщение из темы потребители должны быть инициированы с разными идентификаторами группы. То же самое применимо и в случае искры