Лучший способ распространения кода на веб-сервер / планировщик воздушного потока + рабочие и рабочие процессы

Question

Что, по мнению людей, является наилучшим способом распространения кода (dags) среди веб-серверов / планировщиков воздушного потока + работников?Я пытаюсь запустить сельдерей на большом кластере рабочих, так что любые ручные обновления нецелесообразны.

Я сейчас развертываю поток воздуха на докере и использую s3fs, и он постоянно падает на меня и создает странные файлы ядра. ###.Я изучаю другие решения (например, StorageMadeEasy, DropBox, EFS, cron для обновления с git ...), но хотел бы получить немного отзывов, когда я исследую решения.

Кроме того, как люди обычно делают обновления для дагов и распространяют этот код?Если вы используете общий том, такой как s3fs, каждый раз, когда вы обновляете dag, вы перезапускаете планировщик?Редактирование кода на месте чего-то вроде DropBox вызывает проблемы?Будем весьма благодарны за любые рекомендации по обновлению кода и распространению кода.

Answer 1

Я не могу точно сказать вам, каков «лучший» способ сделать это, но я могу сказать вам, что я сделал, когда мне нужно было распределить рабочую нагрузку на другую машину.

Я просто установилсоздайте общий ресурс NFS на главном сервере воздушных потоков для папок DAGS и PLUGINS и смонтируйте этот общий ресурс на рабочем месте.У меня была проблема один или два раза, когда точка монтирования NFS по какой-то причине ломалась, но после перемонтирования работы продолжались.

Чтобы распространить код DAG и PLUGIN в кластер Airflow, я просто развертываю его на главном сервере (я делаю это с помощью bash-скрипта на моей локальной машине, который просто SCP-папок поднимает из моей локальной ветки git) и обрабатывает NFSрепликация на рабочий.Я всегда перезагружаю все после развертывания, я также не развертываю, когда задание выполняется.

Лучший способ развертывания состоит в том, чтобы иметь GIT на главном сервере airflow, который извлекает ветку из репозитория GIT.(тест или мастер в зависимости от сервера воздушных потоков?), а затем замените пакеты и плагины на те, которые находятся в репозитории git.Сейчас я экспериментирую с такими развертываниями на Ansible.