Где разместить файл свойств приложения для приложения spark, работающего в AWS EMR - PullRequest
0 голосов
/ 11 декабря 2018

Я отправляю один JAR-файл приложения-искры в EMR, и он использует некоторый файл свойств.Таким образом, я могу поместить его в S3, и при создании EMR я могу загрузить его и скопировать в какое-то место в окне EMR, если это лучший способ, которым я могу сделать это при создании самого кластера EMR во время начальной загрузки.

1 Ответ

0 голосов
/ 19 декабря 2018

Проверьте следующий снимок

enter image description here

В настройках редактирования программного обеспечения вы можете добавить свою собственную конфигурацию или файл JSON (который хранится в местоположении S3) и использовать этоПри настройке вы можете передать параметр конфигурации в кластер EMR при создании.Для более подробной информации, пожалуйста, проверьте следующие ссылки

Конфигурации кластера Amazon EMR

Настройка приложений

AWS ClI

надеюсь, это поможет вам.

...