Какова стандартная практика добавления пользовательских переменных среды в EMS AWS? - PullRequest
Новая
       38

Какова стандартная практика добавления пользовательских переменных среды в EMS AWS?

0 голосов
/ 08 июня 2019
  • В отличие от Elastic Beanstalk, в AWS EMR нет средств для добавления / удаления пользовательских переменных среды.

A.Если я сделаю это с помощью файла конфигурации, как я могу сделать, если я хочу добавить новую переменную среды в уже существующий и работающий кластер?

aws emr create-cluster --configurations file://custom_config.json

В этом случае, что, если я хочу добавить переменную env после создания кластера?

B. Правильно ли использовать шаги для внедрения средыпеременная и возможно ли это с помощью шагов?

Уверен, что внедрение переменных среды является очень распространенным случаем, хотел бы знать, как лучше всего это делать.

Спасибо.

1 Ответ

0 голосов
/ 13 июня 2019

Хотел бы прокомментировать различные подходы, которые мы используем, основываясь на чтении документации AWS EMR и общении с людьми.

  1. AWS EMR на дату (июнь -2019) не имеетспособ добавления переменных среды, которые можно добавлять точно так же, как конфигурации в эластичном бобовом стебле.
  2. Мы можем взглянуть на два подхода -

a.Добавьте через конфигурацию при создании кластера ::

aws emr create-cluster --configurations file: //custom_config.json

[См.:: Как установить настраиваемую переменную среды в EMR, которая будет доступна для искры. Приложение ]

Откат с этим подходом заключается в том, что после создания кластера мы не сможемсделать это через модифицировать кластер.

b.Используйте опцию bootstrap action , доступную в представлении списка кластеров AWS EMR. 

 --bootstrap-actions Path=s3://mybucket/filename",Args=[arg1,arg2]

Хотя это также необходимо указать при создании кластера, мы можем изменить этот файл в любое время.Чтобы изменение отразилось - нам нужен cronjob, поддерживаемый в главном узле, чтобы периодически запускать этот скрипт во всех узлах.Когда новый узел создается для автоматического масштабирования, измененные значения будут автоматически помещаться в эти вновь созданные экземпляры.

Да, это своего рода обходные подходы. Но они кажутся доступными в настоящее время способами, кромевход в каждый экземпляр и установка переменных среды вручную.

Пожалуйста, не стесняйтесь комментировать любые предложения.

...