Apache Воздушный поток без сельдерея или кубернетес

Question

Есть ли способ запустить рабочие процессы, не используя сельдерей или kubernetes. Do c указывает только два способа его запуска в многокластерном режиме. Не могу ли я просто иметь еще несколько экземпляров EC2 для запуска своих рабочих для вычислений. (Без использования сельдерея или кубернетес).

Answer 1

Единственный способ выполнить sh то, что вы хотите, - написать собственного исполнителя (EC2Executor?), Который соответствует вашим требованиям.

Answer 2

Предположим, у вас есть несколько экземпляров EC2. Как бы вы управляли ими из Airflow? Как бы вы распределили нагрузку между этими экземплярами EC2? Celery или Kubernetes позаботятся именно об этих задачах.

Если по какой-то причине вы не можете использовать Celery или Kubernetes, вы можете установить Airflow на один экземпляр и при необходимости увеличить его ресурсы.