Кафка коннект работает очень медленно и выдает прерывистую ошибку - PullRequest
Новая
       9

Кафка коннект работает очень медленно и выдает прерывистую ошибку

0 голосов
/ 18 октября 2019

Я пытаюсь скопировать содержимое одной темы test1 в другую тему test1_connect

Содержимое - это сообщение protobuf.

Я пробовал kafkacat, но похоже, что он не работает для сообщения protobuf.

Итак, я попробовал репликатор (подключ-распределенный) и ниже приведены те же конфиги.

connect-distirbuted.properties 

bootstrap.server =<bootstrap server>
compression.type=snappy
group.id=...
key.convertor =json....
value.convertor =json...
offset.storage.topic=offsets
config.storage.topic=configs
status.storgae.topic=status

send.buffer.bytes=33554432
offset.flush.interval.ms=1000000

replicator.json

{
    name:replicator, 
    config:{
          <normal config but source and       destination cluster is same. >
    } 
}

Хоть и работает, но очень медленно.

Наблюдение

  1. Каждые фев. Аутентичные вещи, которые мы обычно видим во время запуска кафки.

  2. Я вижу много ошибок, таких как

    Не удалось отправить запись в test1_connect kafkaexception: produxer принудительно закрывается.

  3. TimeoutException: поток Adminclient не принимает новые вызовы.

  4. Java outofmemoryerror.

Есть ли оптимизация производительности, которую я должен делать.

Я никогда не думал, что для подключения kafka потребуется много памяти. Я думал, что это должно быть просто скопировать содержимое одной темы в другую очень быстро, как его кластер.

...