Экземпляры Kafka Streams переходят в состояние DEAD - PullRequest
Новая
       1

Экземпляры Kafka Streams переходят в состояние DEAD

0 голосов
/ 30 мая 2018

Мы используем Kafka 0.10.2.0, потоки kafka 1.1.0.У нас есть Kafka Cluster из 16 машин, а тема, которую использует Kafka Streams, имеет 256 разделов.Мы создали 400 экземпляров приложения Kakfa Streams.Мы видим, что все StreamThreads переходят в состояние DEAD. 

[2018-05-25 05:59:29,282] INFO stream-thread [ksapp-19f923d7-5f9e-4137-b79f-ee20945a7dd7-StreamThread-1] State transition from PENDING_SHUTDOWN to DEAD (org.apache.kafka.streams.processor.internals.StreamThread)
[2018-05-25 05:59:29,282] INFO stream-client [ksapp-19f923d7-5f9e-4137-b79f-ee20945a7dd7] State transition from REBALANCING to ERROR (org.apache.kafka.streams.KafkaStreams)
[2018-05-25 05:59:29,282] WARN stream-client [ksapp-19f923d7-5f9e-4137-b79f-ee20945a7dd7] All stream threads have died. The instance will be in error state and should be closed. (org.apache.kafka.streams.KafkaStreams)
[2018-05-25 05:59:29,282] INFO stream-thread [ksapp-19f923d7-5f9e-4137-b79f-ee20945a7dd7-StreamThread-1] Shutdown complete (org.apache.kafka.streams.processor.internals.StreamThread)

Обратите внимание, что когда у нас всего 100 экземпляров kafka, все работает так, как ожидалось.Мы видим, что экземпляры потребляют сообщения из темы.

...