Кафка подключи 100% процессор - PullRequest
Новая
       60

Кафка подключи 100% процессор

0 голосов
/ 08 ноября 2019

Я использую kafka_2.12-2.3.1 на Ubuntu 18 с JDK 13. Пока все работает нормально, я заметил, что Kafka connect потребляет 100% ресурсов процессора. Несмотря на то, что нет сообщений для обработки, он продолжает потреблять процессор.

Взял threaddump, но никаких подсказок в нем нет.

Я использую Postgres-разъем сPostgre 11.X. Также я запускаю Kafka Connect в распределенном режиме .

ОБНОВЛЕНИЕ 1

После поиска по различным сайтам я получил несколько подсказок и понял, что этоможет быть ошибка в самом JDK (вызванная опросом). Я видел раздел дампа темы, который был выделен большинством

Я проверю поведение с автономным подключением kafka. 

"KafkaBasedLog Work Thread - connect-offsets" #31 prio=5 os_prio=0 cpu=828.02ms elapsed=1039.24s tid=0x00007f8530089800 nid=0x305b runnable  [0x00007f852a3f4000]
   java.lang.Thread.State: RUNNABLE
        at sun.nio.ch.EPoll.wait(java.base@13.0.1/Native Method)
        at sun.nio.ch.EPollSelectorImpl.doSelect(java.base@13.0.1/EPollSelectorImpl.java:120)
        at sun.nio.ch.SelectorImpl.lockAndDoSelect(java.base@13.0.1/SelectorImpl.java:124)
        - locked <0x00000000809efd98> (a sun.nio.ch.Util$2)
        - locked <0x00000000809efd40> (a sun.nio.ch.EPollSelectorImpl)
        at sun.nio.ch.SelectorImpl.select(java.base@13.0.1/SelectorImpl.java:136)
        at org.apache.kafka.common.network.Selector.select(Selector.java:794)
        at org.apache.kafka.common.network.Selector.poll(Selector.java:467)
        at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:539)
        at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:262)
        at org.apache.kafka.clients.consumer.internals.ConsumerNetworkClient.poll(ConsumerNetworkClient.java:233)
        at org.apache.kafka.clients.consumer.KafkaConsumer.pollForFetches(KafkaConsumer.java:1281)
        at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1225)
        at org.apache.kafka.clients.consumer.KafkaConsumer.poll(KafkaConsumer.java:1201)
        at org.apache.kafka.connect.util.KafkaBasedLog.poll(KafkaBasedLog.java:262)
        at org.apache.kafka.connect.util.KafkaBasedLog.access$500(KafkaBasedLog.java:71)
        at org.apache.kafka.connect.util.KafkaBasedLog$WorkThread.run(KafkaBasedLog.java:337)

ОБНОВЛЕНИЕ 2

Пробовал автономный режим и процессор по-прежнему долива до 100%. Я подтверждаю, что нет сообщений для обработки.

...