Kafka Streams не запускается при запуске - PullRequest
Новая
       32

Kafka Streams не запускается при запуске

1 голос
/ 05 мая 2019

Я использую Kafka Streams с одной 5-секционной темой ввода ("input_topic"), но у меня много перераспределений. Большую часть времени он работает просто отлично.

Однако иногда, когда я перезапускаю службу (2 экземпляра приложения), я получаю следующую ошибку на каждом из потоков StreamThreads: 

ERROR o.a.k.s.p.internals.StreamThread.run - stream-thread [my-app-7c367779-f563-4944-9e2f-095c37e3664d-StreamThread-2] Encountered the following error during processing:
java.lang.IllegalArgumentException: Assigned partition my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000046-repartition-3 for non-subscribed topic regex pattern; subscription pattern is input_topic|my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000004-repartition|my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000012-repartition|my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000024-repartition|my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000033-repartition|my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000044-repartition|my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000058-repartition|my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000067-repartition|my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000076-repartition|my-app-KSTREAM-AGGREGATE-STATE-STORE-0000000086-repartition
        at org.apache.kafka.clients.consumer.internals.SubscriptionState.assignFromSubscribed(SubscriptionState.java:187)
        at org.apache.kafka.clients.consumer.internals.ConsumerCoordinator.onJoinComplete(ConsumerCoordinator.java:250)
        at org.apache.kafka.clients.consumer.internals.AbstractCoordinator.joinGroupIfNeeded(AbstractCoordinator.java:406)
        at org.apache.kafka.clients.consumer.internals.AbstractCoordinator.ensureActiveGroup(AbstractCoordinator.java:340)
        at org.apache.kafka.clients.consumer.internals.ConsumerCoordinator.poll(ConsumerCoordinator.java:341)
        at org.apache.kafka.clients.consumer.KafkaConsumer.updateAssignmentMetadataIfNeeded(KafkaConsumer.java:1214)
        at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1179)
        at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1164)
        at org.apache.kafka.streams.processor.internals.StreamThread.pollRequests(StreamThread.java:913)
        at org.apache.kafka.streams.processor.internals.StreamThread.runOnce(StreamThread.java:818)
        at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:777)
        at org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:747)

Кто-нибудь знает в чем может быть проблема?

Есть ли у вас направление для расследования?

Спасибо!

...