Я записываю файл в тему kafka через kafka -roduction cli, используя эту команду
kafka-console-producer --broker-list localhost:9092 --topic foo < output
, где я передаю файл в файл.Каждая строка в файле была протестирована на моем локальном экземпляре kafka, и эта команда работает.Проблема заключается в том, что когда я подключаюсь к VPN в моей среде удаленного тестирования и выполняю ту же команду, я получаю следующие ошибки (тысячи раз), и около 70 000 записей из 870 000 обращаются к потребителю в этой среде VPN.
org.apache.kafka.common.errors.TimeoutException: Expiring 30 record(s) for foo-1: 1546 ms has passed since last append
ERROR Error when sending message to topic foo with key: null, value: 545 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
Я попытался увеличить время ожидания и размер пакета, добавив флаги для повышения пропускной способности, но нет большой разницы в количестве проходящих сообщений (потребуется провести дополнительное тестирование)
kafka-console-producer --broker-list localhost:9092 --timeout 30000 -request-required-acks 1 --batch-size 100000 --topic foo < output