Отправка заданий Spark с использованием Airflow путем отправки пакетного метода POST в Livy и отслеживания заданий

Question

Я хочу использовать Airflow для согласования заданий, которое включает в себя запуск некоторых сценариев PIG, сценариев оболочки и заданий Spark.

В основном на заданиях Spark, я хочу использовать Apache Livy, но не уверен, стоит ли использовать или запустить spark-submit.

Каков наилучший способ отслеживания заданий Spark с использованием Airflow, даже если я отправил?

Answer 1

Я предполагаю, что вы JAR приложение, содержащее Java / Scala код, который вы хотите отправить в удаленный Spark кластер.Livy, возможно, является лучшим вариантом для remote spark-submit, если сравнивать его с другими возможностями:

• Указание remote master IP : Требуется изменение глобальных конфигураций / переменных среды
• Использование SSHOperator: SSH соединение может разрыв
• Использование EmrAddStepsOperator: зависит от EMR

---

Относительно отслеживание

• Livy только отчеты state, а не прогресс (% завершения этапов)
• Если с этим все в порядке, вы можете просто опрос Livy сервера через REST API и продолжайте печатать журналы в консоли, они будут отображаться в журналах задач в WebUI (View Logs)

---

Другие замечания

• Livy не поддерживает повторное использование SparkSession для POST/batches запроса
• Если это необходимо, вам придется написать код приложения в PySpark и использовать POST/session запросов

---

Ссылки

• Как отправить задания Spark в кластер EMR из Airflow?
• livy/examples/pi_app
• rssanders3/livy_spark_operator_python_example

---

Полезные ссылки

• Как отправлять задания Spark в кластер EMRот Airflow?
• Удаленная подача искры на YARN, работающую на EMR