Серверный узел Kafka выходит из строя с ошибкой «Слишком много открытых файлов»

Question

Мы используем кластер Kafka с 3 узлами, в общей сложности 151 тема с 1 разделом для каждой темы. И мы настроили коэффициент репликации = 3. Пока мы запускаем kafka брокеры, получаю следующую ошибку:

ERROR Error while accepting connection (kafka.network.Acceptor)

java.io.IOException: Too many open files

Answer 1

Значение по умолчанию макс. Открытые файлы 1024 на большинстве систем Unix. В зависимости от вашей пропускной способности вам нужно настроить гораздо более высокое значение. Попробуйте начать с 32768 или выше

Answer 2

Похоже, это связано с меньшим количеством дескрипторов файлов.

Можете ли вы проверить ограничение дескриптора файла, как показано ниже

ulimit -n

Попробуйте изменить дескриптор открытого файла на более высокое значение:

ulimit -n <noOfFiles>

Вы можете получить максимально допустимое количество открытых файлов: cat /proc/sys/fs/file-max