Автоматизированный способ запуска файла запуска экземпляра и его завершения

Question

Я хотел бы иметь скрипт на python, который поможет мне запустить экземпляр ec2, загрузить скрипт python из s3-bucket и запустить его после завершения скрипта. Я хотел бы завершить его, все, что я хочу Это делается автоматически, я новичок в AWS и у меня много путаницы, любая помощь приветствуется.

Answer 1

Для этого вы можете использовать AWS SSM с Документы автоматизации

Создать документ со следующими действиями (следуйте документации):

• aws: runInstances для запуска экземпляра.
• aws: runCommand , чтобы загрузить ваш скрипт из s3 и запустить его.
• aws: changeInstanceState для завершения экземпляра.

Answer 2

Для работы со службами AWS, использующими python, вы должны использовать boto3.

Для создания и завершения экземпляра EC2 с помощью кода Python см. Следующую документацию boto3 / EC2:

CreateЭкземпляр EC2

Завершение экземпляра EC2

Для создания и завершения кластера EMR с помощью кода Python см. Следующую документацию boto3 / EMR:

Создание кластера EMR

Завершение кластера EMR

Чтобы выполнить свой сценарий, лежащий на S3, вы можете использовать удаленный ssh ​​для главного узла EC2 / EMR,Для EMR вы также можете выполнить скрипт как шаг, используя add_job_flow_steps из boto3 / emr, как описано здесь .