У меня есть продюсер, который пишет миллион сообщений в l oop Кафке. После обработки около полумиллиона сообщений (не точно, различается в разных прогонах) он начинает выдавать
Получена ошибка неверных метаданных в запросе на создание раздела TEST-2 из-за org. apache .kafka.common .errors.NetworkException: сервер отключился до того, как был получен ответ. Сейчас я собираюсь запросить обновление метаданных. После этого мой производитель перестает отвечать, и у меня есть только возможность убить процесс.
У меня нет сильно изменился в конфигурациях производителя кафки, но не уверен, в идеале, что я должен изменить. Я обновил следующие свойства
- acks = "all"
- max.in.flight.requests.per.connection = 1
- повторов = 3
- request.timeout.ms = 20000
- retry.backoff.ms = 1000
- linger.ms = 5
- batch.size = 25600
Мне кажется что продюсер постоянно отправляет сообщение в Kafka, но не получает ответ. Кроме того, другое сообщение, которое я получаю, с приведенным выше сообщением: Координатор группы IP_of_kafka_server недоступен или недействителен, попытка повторного обнаружения
PS:
Я использую kafka-0.11, одно сообщение составляет около 20000 символов, и у брокеров достаточно места для размещения всех сообщений. Коэффициент репликации для topi c равен 1 (после тестирования), и в моем кластере 3 брокера.