Kafka Streams - один на два не работает - неправильные назначения разделов

Question

В приложении моей компании, чтобы применить несколько преобразований к 2 группам сообщений, называемым LIVE и PRE-MATCH, мы создаем 2 потока Kafka, по одному для каждой из этих групп.Оба эти потока запускаются правильно, однако один из них, который всегда является вторым, созданным по временному порядку, не выполняет никаких изменений: под этим я подразумеваю, что он не потребляет ничего из начальной темы.

Анализ журналов показывает, что должна быть некоторая проблема с настройкой тем и разделов:

2018-09-26 11:36:59,963 [INFO ] [] [StreamThread-2] [o.a.k.c.c.i.ConsumerCoordinator] - Setting newly assigned partitions [] for group Union
2018-09-26 11:36:59,963 [INFO ] [] [StreamThread-1] [o.a.k.c.c.i.ConsumerCoordinator] - Setting newly assigned partitions [betgenius.integralfeed.live-0] for group Union

Как вы можете видеть в приведенной выше части журнала, StreamThread-1, связанный сна LIVE каналы, получает правильное назначение разделов, сопоставленных с правильной исходной темой;StreamThread-2, который в этом случае связан с фидами PRE-MATCH, похоже, получает разделение на пустую тему-источник и фактически не работает.

Если я искусственно принудительно создаю поток PRE-MATCH перед LIVE, ситуация меняется на противоположную.

Код, использованный для создания 2 потоков, абсолютно идентичен, я просто изменяюНачать тему и завершить темы.

Возможно ли, что на моей конфигурации Kafka недостаточно ресурсов?

Answer 1

согласно предоставленным журналам, кажется, вы используете один и тот же идентификатор группы Union для обоих потоков Kafka, но они должны быть уникальными для каждого потока.поэтому убедитесь, что вы указали разные значения для свойства settings application.id.

application.id - идентификатор приложения потоковой обработки, должен быть уникальным в кластере Kafka.