Воздушный поток + Kubernetes VS Воздушный поток + искра

Question

Как какая-то статья, которую я ранее читал.Там сказано, что в новой версии Kubernetes уже есть возможности Spark.Но с некоторыми другими способами, такими как использование KubernetesPodOperator вместо использования BashOperator / PythonOperator для выполнения SparkSubmit.

Является ли наилучшей практикой объединение Airflow + Kubernetes для удаления Spark и использования KubernetesPodOperator для выполнения задачи?

Какая производительность выше, так как в Kubernetes есть AutoScaling, которого нет у Spark.

Нужен кто-то в Kubernetes, который помог бы мне объяснить это.Я все еще новичок с этими вещами Kubernetes, Spark и Airflow.: small_smile:

Спасибо.

Answer 1

в новой версии Kubernetes, уже включают возможности Spark

Я думаю, вы поняли это задом наперед.Новые версии Spark могут запускать задачи в кластере Kubernetes.

с использованием KubernetesPodOperator вместо использования BashOperator / PythonOperator для выполнения SparkSubmit

Использование Kubernetes позволит вам запускать контейнеры слюбые изолированные зависимости, которые вы хотели.

Значение

1. С BashOperator вы должны распространять файлы по какой-либо общей файловой системе или по всем узлам, которые выполняли задачи Airflow.Например, spark-submit должен быть доступен на всех узлах Airflow.
2. Аналогично Python вы отправляете некоторые файлы zip или egg, которые включают вашу среду зависимостей pip / conda

remove Spark и с помощью KubernetesPodOperator для выполнения задачи

Есть все еще веские причины для запуска Spark с Airflow, но вместо этого вам нужно будет упаковать контейнер драйвера Spark для выполнения spark-submit внутри контейнера против кластера Kubernetes.Таким образом, вам нужно только установить docker, а не Spark (и все зависимости)

В Kubernetes есть AutoScaling, которого у Spark нет

Spark имеет Динамическое распределение ресурсов ...