как увеличить открытые файлы на кластере кафки - PullRequest
Новая
       52

как увеличить открытые файлы на кластере кафки

2 голосов
/ 15 января 2020

У нас есть 10 машин kafka с версией kafka - 1.X

эта версия кластера kafka является частью версии HDP - 2.6.5

Мы заметили, что под /var/log/kafka/server.log следующее сообщение 

ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files

Мы также видели дополнительно 

 Broker 21 stopped fetcher for partition ...................... because they are in the failed log dir /kafka/kafka-logs {kafka.server.ReplicaManager}

и 

WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. this implies messages have arrived out of order. New: {epoch:0, offset:2227488}, Currnet: {epoch 2, offset:261} for Partition: cars-list-75 {kafka.server.epochLeaderEpocHFileCache}

, что касается вопроса - 

ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files

how to increase the MAX open files , in order to avoid this issue

обновление:

в ambari мы видели следующий параметр из kafka --> config

enter image description here

это параметр, который мы должны увеличить?

1 Ответ

0 голосов
/ 15 января 2020

Это можно сделать так: 

echo "* hard nofile 100000
* soft nofile 100000" | sudo tee --append /etc/security/limits.conf

Тогда вам нужно перезагрузиться.

...