Кластер Cloudera quickstart CDH 5.15 работает медленно - PullRequest
0 голосов
/ 30 октября 2018

У меня Cloudera quickstart CDH 5.15 кластер очень медленный когда я запускаю простую команду hadoop, такую ​​как "hadoop fs -ls", это занимает почти 20 секунд но когда я пытаюсь запустить локальные команды вроде ls, это очень быстро, пожалуйста, помогите мне с этим.

1 Ответ

0 голосов
/ 31 октября 2018

Для быстрой работы ВМ требуется 6-8 ГБ ОЗУ для надежной работы.

Но процесс запуска JVM для любой команды hadoop будет намного медленнее по сравнению с другими встроенными командами оболочки, которые работают аналогично. Там нет никакого способа обойти этот факт.

Если вы хотите, чтобы команда Hadoop ls была быстрее, было бы полезно настроить фактический распределенный кластер с достаточным объемом памяти для процесса Namenode, который ls связывается с

...