Как настроить главный узел воздушного потока

Question

Я пытаюсь изменить существующий кластер воздушного потока и сельдерея, чтобы сделать планировщик выделенным главным узлом, который не выполняет задания. (В настоящее время все узлы работают как рабочие; я хочу, чтобы планировщик не был рабочим.)

Как бы мне этого добиться?

Answer 1

Если вы развертываете с помощью Docker Swarm с это распределение воздушного потока Вы можете указать, в каком типе узла развертывать каждую службу.

Таким образом, вы можете принудительно развернуть планировщик в узле менеджера:

scheduler:
    image: puckel/docker-airflow:1.10.1
    deploy:
        replicas: 1
        placement:
            constraints: [node.role==manager]

И рабочие службы в рабочем узле:

worker:
    image: puckel/docker-airflow:1.10.1
    deploy:
        replicas: 3
        placement:
            constraints: [node.role==worker]

Answer 2

В нашем кластере пользовательский интерфейс и планировщик находятся на одном узле. Это наш «главный» узел.

Когда мы запускаем эти два компонента, мы используем команды:

airflow scheduler
airflow webserver

На рабочих узлах вы запускаете их с

airflow worker

Это держит ваши процессы отдельно.

Если вам нужна дополнительная помощь, пожалуйста, отредактируйте свой ответ и опубликуйте свой конфигурационный файл.