Воздушный поток Ливий рабочих мест на AWS EMR

Question

Мы используем Airflow для планирования наших заданий в EMR, и в настоящее время мы хотим использовать apache Livy для отправки заданий Spark через Airflow. Мне нужно более подробное руководство ниже: Какой оператор Airflow-Livy мы должны использовать для python 3+ pyspark и scala рабочих мест. Я видел ниже: https://github.com/rssanders3/airflow-spark-operator-plugin и https://github.com/panovvv/airflow-livy-operators

Хочет узнать больше о стабильном операторе AirflowLivy, который кто-либо использует в производстве, вероятно, в стеке AWS.

Также Пошаговое руководство по установке для интеграции.

Answer 1

Я бы порекомендовал использовать LivyOperator из https://github.com/apache/airflow/blob/master/airflow/providers/apache/livy/operators/livy.py

В настоящее время он доступен только в Master, но вы можете скопировать код и вставить его в качестве пользовательского оператора, пока мы не сделаем бэкпорт все новые операторы для Airflow 1.10. * серия