Ошибка открытия файла Hadoop Fair Scheduler?

Question

Я тестирую честный режим планировщика для назначения задания, однако я получаю такую ​​ошибку java.io.IOException: Невозможно запустить программу "bash": java.io.IOException: error = 24, Слишком много открытых файлов

После Google, большинство из них скажет, чтобы проверить, сколько файлов в настоящий момент открыто в системе (командой unix lsof) и как это число связано с вашим системным лимитом (проверьте командой bash ulimit -n).Увеличение максимального количества открытых файлов за раз, по моему мнению, является краткосрочным решением.

Есть ли способ избежать этого?

Answer 1

Тот факт, что ваша система достигает предела # (максимальное количество открытых файлов), возможно, вам придется проверить:

1. Сколько других операций выполняется в системе?
2. Много ли они открывают много файлов?
3. Является ли ваша работа hadoop сама по себе много открывающих файлов?
4. Является ли текущий предел для # (макс. Открытых файлов) слишком маленьким в вашей системе? (вы можете погуглить типичные значения). Если его слишком мало, рассмотрите возможность его увеличения

Я думаю, что увеличение лимита # (макс. Открытых файлов) сработает. В долгосрочной перспективе вы можете снова столкнуться с этой проблемой, если № 1, № 2 и № 3 не решены.