Airflow и Spark / Hadoop - уникальный кластер или один для Airflow, а другой для Spark / Hadoop

Question

Я пытаюсь выяснить, как лучше всего работать с Airflow и Spark / Hadoop.У меня уже есть кластер Spark / Hadoop, и я подумываю о создании еще одного кластера для Airflow, который будет удаленно отправлять задания в кластер Spark / Hadoop.

Есть ли у вас какие-либо советы по этому поводу?Похоже, что немного сложнее удаленно развернуть спарк из другого кластера, что приведет к некоторому дублированию конфигурации файла.

Answer 1

Я предпочитаю отправлять Spark Jobs с использованием SSHOperator и запускать команду spark-submit, которая спасет вас от копирования / вставки yarn-site.xml. Кроме того, я бы не стал создавать кластер для Airflow, если единственная задача, которую я выполняю, - это запуск заданий Spark, с одной виртуальной машиной с LocalExecutor все будет в порядке.

Answer 2

Существует множество вариантов удаленного выполнения spark-submit через Airflow.

• Emr-Step
• Apache-Livy (см. this для подсказки)
• SSH

Обратите внимание, что ни один из них не готов plug-and-play , и вам придется написать своих собственных операторов, чтобы добиться цели.

Answer 3

Вам действительно нужно настроить yarn-site.xml файл, я думаю, чтобы spark-submit --master yarn --deploy-mode client работал. (Вы можете попробовать режим развертывания кластера, но я думаю, что управление драйвером с помощью Airflow - неплохая идея)

После развертывания Application Master в YARN Spark запускается локально в кластере Hadoop.

Если вы действительно хотите, вы можете добавить hdfs-site.xml и hive-site.xml, которые также будут отправлены из Airflow (если это возможно), но в противном случае, по крайней мере, файлы hdfs-site.xml должны быть выбраны из контейнера YARN classpath (не на всех NodeManager может быть установлен клиент Hive)