Какая среда идеальна для запуска Apache Airflow?

Question

В настоящее время я запускаю Airflow через Ubuntu WSL на моем ПК, который работает отлично.Однако я настраиваю конвейер, который должен работать постоянно (24/7), поэтому я ищу идеи и рекомендации по поводу того, на чем будет работать Airflow.Я не хочу, чтобы моя система постоянно включалась.

Удивительно, но я не могу найти много информации об этом!Кажется, это не обсуждается подробно ...

Answer 1

Это зависит от вашей рабочей нагрузки.

Если у вас мало задач для запуска, вы можете просто создать виртуальную машину на любом облачном провайдере (GCP, AWS, Azure и т. Д.) И установить на нем Airflow, который будет работать24x7.

Если ваша рабочая нагрузка высока, вы можете использовать K8s (GKE, EKS и т. Д.) И установить на него Airflow.