emr-6.0.0-beta2 HiveLLAP с низким распределением и использованием vCore - PullRequest
Новая
       19

emr-6.0.0-beta2 HiveLLAP с низким распределением и использованием vCore

0 голосов
/ 06 марта 2020

У меня кластер HL LLAP EMR с 21 узлом. Hive LLAP Daemon не использует доступное выделение кластера VCPU. 160 ядер доступны для YARN, но для каждого демона LLAP используется только 1 vCore. Каждый узел имеет 64 ГБ памяти и 8 виртуальных ядер. Каждый узел запускает 1 Lam-протокол и выделяет 70% памяти, но ТОЛЬКО 1 vCore. Некоторые из свойств: 

   yarn.nodemanager.resource.cpu-vcores=8;
    yarn.scheduler.minimum-allocation-vcores=1;
    yarn.scheduler.maximum-allocation-vcores=128;
    hive.llap.daemon.vcpus.per.instance=4;
    hive.llap.daemon.num.executors=4;

Почему демон не выделяет более 1 vcore? Смогут ли исполнители использовать доступные vcores ИЛИ могут использовать ТОЛЬКО 1 vcore, выделенный для демона.

1 Ответ

0 голосов
/ 26 апреля 2020

Если вы видите это в YARN ui, вероятно, вы должны добавить это

yarn.scheduler.capacity.resource-calculator: org.apache.hadoop.yarn.util.resource.DominantResourceCalculator

У меня была такая же путаница. На самом деле, при использовании DefaultResourceCalculator в пользовательском интерфейсе Yarn он только рассчитывает использование памяти, за кулисами он мог использовать более 1 ядра, но вы увидите только 1 используемое ядро. С другой стороны, DominantResourceCalculator вычисляет ядро ​​и память для распределения ресурсов и показывает фактическое количество ядра и памяти.

Вы можете включить ганглии или просмотреть показатели EMR для более подробной информации.

...