Как увеличить «общее количество памяти», отображаемое в интерфейсе Yarn? - PullRequest
Новая
       41

Как увеличить «общее количество памяти», отображаемое в интерфейсе Yarn?

0 голосов
/ 22 мая 2019

У меня есть кластер на EMR (emr-5.20.0) с m5.2xlarge в качестве Node Master, два m4.large в качестве ядра и три m4.large в качестве рабочих узлов. Сумма оперативной памяти этого кластера составляет 62 ГБ, но в пользовательском интерфейсе YARN отображается всего 30 ГБ.

Кто-нибудь может помочь мне понять, как рассчитывается это значение?

Я уже проверил настройки в Yarn-site.xml и spark-default.conf, и они настроены в соответствии с рекомендацией AWS: https://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-hadoop-task-config.html#emr-hadoop-task-config-m5

Любая помощь приветствуется

Ответы [ 2 ]

1 голос
/ 22 мая 2019

Пряжа не включает главный узел в доступную память / ядра.

Таким образом, вы должны получить примерно 5 x 8 ГБ (m4.large). Вы получите меньше, потому что для ОС и сервисов осталось много памяти.

0 голосов
/ 22 мая 2019

Настройки памяти в YARN можно настроить с помощью следующих параметров кластера: 

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.increment-allocation-mb
yarn.scheduler.maximum-allocation-mb

Моя настройка этих параметров позволяет увеличить / уменьшить общий объем памяти, выделенной для кластера.

...