Кластер воздушного потока: необходимо ли развертывать группы DAG / рабочие процессы на всех рабочих? - PullRequest
Новая
       34

Кластер воздушного потока: необходимо ли развертывать группы DAG / рабочие процессы на всех рабочих?

0 голосов
/ 28 мая 2019

Мы планируем обновить Airflow и перейти с одного сервера Airflow на Airflow кластер (AWS).

Мы проверяем эту статью и this .

Мы используем SQS в качестве службы очереди, и, несмотря на то, что в документации сказано, что нам нужно только развернуть наши py-файлы DAG в мастерах, мы задаемся вопросом, правильно ли это.

  1. Очереди через сообщения не содержат код
  2. В наших тестах наши группы доступности баз данных не работают, если мы не развернем их на всех узлах, рабочих и основных устройствах.

Итак, что нам делать?

Большое спасибо!

1 Ответ

0 голосов
/ 28 мая 2019

Ваши DAGS должны быть синхронизированы между всеми работниками, чтобы он работал, потому что airflow_scheduler отправит DAG любому работнику, который доступен.Если DAGS не синхронизируются между всеми работниками, может быть запущена более старая копия DAG.

...