расширение файла для чтения - PullRequest
Новая
       35

расширение файла для чтения

0 голосов
/ 12 октября 2018

Я написал следующий сценарий оболочки для настройки планировщика пряжи, но это не работает должным образом - создание кластера Dataproc завершается неудачно, когда я задаю этот сценарий в качестве входного аргумента.

Есть ли у вас какие-либоидея как это исправить?

Ниже приведен скрипт: 

#!/usr/bin/env bash

echo "<allocations>" >> /etc/hadoop/conf/fair-scheduler.xml
echo "  <userMaxAppsDefault>999</userMaxAppsDefault>" >> /etc/hadoop/conf/fair-scheduler.xml
echo "  <queueMaxAppsDefault>999</queueMaxAppsDefault>" >> /etc/hadoop/conf/fair-scheduler.xml
echo "</allocations>" >> /etc/hadoop/conf/fair-scheduler.xml

sed -i '$ d' /etc/hadoop/conf/yarn-site.xml

echo "  <property>" >> /etc/hadoop/conf/yarn-site.xml
echo "    <name>yarn.scheduler.fair.allocation.file</name>" >> /etc/hadoop/conf/yarn-site.xml
echo "    <value>/etc/hadoop/conf/fair-scheduler.xml</value>" >> /etc/hadoop/conf/yarn-site.xml
echo "  </property>" >> /etc/hadoop/conf/yarn-site.xml
echo "</configuration>" >> /etc/hadoop/conf/yarn-site.xml

systemctl restart hadoop-yarn-resourcemanager.service

1 Ответ

0 голосов
/ 15 марта 2019

Вам нужно использовать Dataproc действие инициализации для настройки YARN Fair Scheduler на Dataproc.

Вы можете взглянуть на этот ответ, чтобы узнать, как это можно сделать: https://stackoverflow.com/a/49693693/3227693

...