Кафка: Как исправить ошибку TimeoutException?

Question

Я использую Kafka с Nifi, когда я загружаю большой файл (более 100 МБ). Я получаю ошибку TimeOutException. Кафка не взламывает sh. Читая об этом, мне нужно увеличить следующее свойство request.timeout.ms, которое по умолчанию установлено на 30 мс. Для чего следует установить это свойство для файлов большего размера, для которых требуется больше времени для загрузки? Как я могу это рассчитать? Я использую Confluent Kafka 5.3.1 в производственной среде.

Спасибо

Answer 1

С процессорами publishKafka и ConsumeKafka вы можете добавить свойства Dynami c, чтобы добавить конфигурацию kafka своему потребителю или производителю. поэтому вы можете добавить такое свойство:
key: request.timeout.ms
value: желаемое значение

вы также можете настроить обратное давление в соединении nifi для защиты вашей среды.

вам следует проверить журналы приложений nifi, возможно, ваша кафка не работает.