Запустите команды aws cli на EMR, используя Lambda

Question

У меня есть лямбда-функция, которая подключается к EMR с помощью boto3. Я хочу запустить команду «aws s3 cp» в EMR, используя мою функцию лямбда-выражения для копирования файлов из S3 в локальный каталог EMR.

Есть ли способ запустить команды aws cli на EMR с помощью Lambda?

Answer 1

номер

Amazon Lambda запускается из Интернета. У него нет доступа к командам запуска на экземплярах кластера EMR.

Теоретически вы можете установить Агент системного менеджера на EMR. (Я не пробовал, но это должно работать.) Ваша функция AWS Lambda может затем вызвать функцию System Manager send_command() для выполнения некоторого кода в экземпляре.

См .: Команда запуска AWS Systems Manager - AWS Systems Manager