Я пытаюсь запускать спарк-задания на python3.Теперь я могу успешно создать среду, но проблема возникает, когда узлы автоматически масштабируются, у него есть python2.
Я хочу знать, возможно ли что-либо из нижеперечисленного?:
- Могу ли я запускать сценарий при появлении нового узла с автоматическим масштабированием (EMR)?
- Могу ли я определить, как должны выглядеть автоматически масштабированные узлы до этого?
- Могу ли я сохранить пользовательский AMI, который будет в свою очередь ссылаться при автоматическом масштабировании?
Пожалуйста, помогителюбым возможным способом.
---> Я пробовал 'ssh' в автоматически масштабируемых узлах и вносить необходимые изменения до того, как задача запустится, и она заработает.Крайний случай здесь - это когда несколько задач отправляются на один и тот же узел одновременно, и выполнение моего скрипта накладывается, вызывая ошибки.