Исключением тайм-аута производителя Kafka является случайное - PullRequest
Новая
       29

Исключением тайм-аута производителя Kafka является случайное

1 голос
/ 24 сентября 2019

Я использую ниже конфигурацию kafka для одного из моих производителей, функциональность работает нормально.

props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "hostaddress:9092");
props.put(ProducerConfig.CLIENT_ID_CONFIG,"usertest");

props.put(ProducerConfig.ACKS_CONFIG, "all");
props.put(ProducerConfig.RETRIES_CONFIG, "3");

props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);
props.put(ProducerConfig.BATCH_SIZE_CONFIG, 1600);

Но я получаю исключение тайм-аута случайным образом, как будто все работает примерно от 1 часа до двух часов, но затем неожиданно становится ниже исключения тайм-аута для нескольких записей.

2019-09-24 13:45:43,106 ERROR c.j.b.p.UserProducer$1 [http-nio-8185-exec-13] Send failed for record ProducerRecord(topic=user_test_topic, partition=null, headers=RecordHeaders(headers = [], isReadOnly = false), key=UPDATE_USER, value=CreatePartnerSite [userid=3,  name=user123, email=testuser@gmail.com, phone=1234567890]], timestamp=null)
org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.
2019-09-24 13:45:43,107 ERROR c.j.b.s.UserServiceImpl [http-nio-8185-exec-13] failed to puplish
...