Увеличьте значение yarn.scheduler.maximum-alloc-mb в файле yarn-site.xml. - PullRequest
Новая
       40

Увеличьте значение yarn.scheduler.maximum-alloc-mb в файле yarn-site.xml.

1 голос
/ 19 апреля 2019

Значение yarn.scheduler.maximum-alloc-mb установлено в 143360 МБ в файле yarn-site.xml. Я получил ошибку ниже при запуске задания pyspark в oozie. Я хочу увеличить его значение в yarn-site.xml, но у меня нет прав для увеличения его значения.

Есть ли способ установить значение yarn.scheduler.maximum-alloc-mb в oozie? или скопировать yarn-site.xml (с сервера) в мой локальный каталог / hdfs, увеличить его значение и затем вызвать его в рабочем процессе Oozie?

Ошибка:

Ошибка запуска Oozie, основного класса [org.apache.oozie.action.hadoop.SparkMain], исключение main (), Требуемая память исполнителя (133120 + 22000 МБ) превышает максимальный порог (143360 МБ) этого кластера ! Пожалуйста, проверьте значения 'yarn.scheduler.maximum-allocation-mb' и / или 'yarn.nodemanager.resource.memory-mb'. java.lang.IllegalArgumentException: Требуемая память исполнителя (133120 + 22000 МБ) превышает максимальный порог (143360 МБ) этого кластера! Пожалуйста, проверьте значения 'yarn.scheduler.maximum-allocation-mb' и / или 'yarn.nodemanager.resource.memory-mb'. 

Oozie workflow :

 <action name="spark-node" cred="hcred">
        <spark xmlns="uri:oozie:spark-action:0.1">
            <job-tracker>${value}</job-tracker>
            <name-node>${value}</name-node>
            <configuration>
                <property>
                    <name>mapreduce.job.queue.name</name>
                    <value>${value}</value>
                </property>
            </configuration>
            <master>yarn</master>
             <mode>cluster</mode>
             <jar>xyz.py</jar>
            <spark-opts>${sparkopts}</spark-opts>
           </spark>
...