Как вставить конфигурацию в yarn-site.xml в кластере EMR - PullRequest
Новая
       41

Как вставить конфигурацию в yarn-site.xml в кластере EMR

0 голосов
/ 22 мая 2018

У меня проблема с:

running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container.

Мой кластер: 4x c3.4xlarge (datanode) и m3.2xlarge (namenode), такая же конфигурация у меня есть толькоДоступно 1,4 ГБ.

и для решения этой проблемы я прочитал на этом сайте https://www.knowru.com/blog/first-3-frustrations-you-will-encounter-when-migrating-spark-applications-aws-emr/ и других сайтах, суть в том, чтобы изменить yarn-site.xml и добавить эту конфигурацию yarn.nodemanager.vmem-check-enabled

Но, когда я изменяю эту конфигурацию, сохраняю и перезапускаю менеджер ресурсов в EMR, эта конфигурация не применяется на странице конфигурации (EMR namenode: 8088 / conf) и не работает, но конфигурация создается по умолчанию, чтобы EMR принимала изменения.

как я могу изменить свою конфигурацию при работающем кластерном EMR?

Я видел, что этот параметр нужно настраивать только при создании кластера, правда?

Как я могу обмануть это?

1 Ответ

0 голосов
/ 23 мая 2018

я принимал эту ошибку running beyond physical memory limits. Current usage: 1.5 GB of 1.4 GB physical memory used; 3.4 GB of 6.9 GB virtual memory used. Killing container, потому что мой спарк-драйвер работал с конфигурацией по умолчанию, я поместил эту конфигурацию --driver-memory 5g в мою банку спарк-отправки и решил мою проблему.

Это было толькоэто в моем случае.

...