Как я могу запустить python скрипт в s3 через поток воздуха

Question

Мы обычно храним наш код в s3 и вызываем его из airflow, чтобы добавить их как новые шаги в emr. spark-submit может читать данные из s3 (например, jar-файлы и файлы). Но как я могу вызвать python скрипт, который присутствует в s3 из потока? Это простой скрипт boto3. Пожалуйста, дайте мне руководство.

Answer 1

Я бы подумал, что это ракурс о том, как на самом деле запустить работу emr через ariflow. Зачем вам даже нужно добавлять шаги. Ваш самый простой вариант - использовать оператор s sh, который подключается к emr, а затем выполнить spark-submit через оператор s sh. spark-submit получит ваш код от s3, а затем запустит задания.