Воздушный поток - что случилось с AWS_GLUE_OPERATOR?

Question

Я надеялся использовать Airflow для организации и управления своими AWS работами с клеем, однако оператор больше не появляется в репозитории GitHub. Кто-нибудь может пролить свет на это?

Кроме того, я открыт для предложений альтернативных инструментов оркестровки. Мне нужно иметь возможность выполнять задания Glue, а также взаимодействовать с другими EC2 в моем VP C.

Заранее спасибо, Пол

Answer 1

AWSGlueJobOperator находится в стадии разработки и имеет хороший прогресс: https://github.com/apache/airflow/pull/6007

Answer 2

Почему бы не написать пользовательский оператор в потоке воздуха, который взаимодействует с клеем с помощью boto3