Какие конкретные свойства требуются для отправки задания на удаленный кластер пряжи

Question

Мы пытаемся отправить задание spark / map-red в удаленный кластер пряжи и знаем, что нам потребуется xmls core-site и yarn-site в каталоге conf. Но я пытаюсь понять, какие конкретные свойства необходимо, чтобы клиент пряжи и клиент спарк отправляли работу удаленно. Я не хочу делиться всеми свойствами.
Любые указатели на это помогут.

Answer 1

Обычно мы называем это Edge Node или Gateway Node, и следующие файлы должны быть доступны в конфигурации Hadoop и пряжи.

#hadoop folder
core-site.xml
hadoop-env.sh
hdfs-site.xml
log4j.properties

Настройка пряжи

#yarn folder
core-site.xml
hadoop-env.sh
hdfs-site.xml
log4j.properties
mapred-site.xml
yarn-site.xml

Прикрепление примера снимка экрана.