Балансировка распределения задач по производительности в Apache Airflow

Question

Я хотел бы распределить работу среди моих работников в Apache Airflow, основываясь на состоянии и текущей нагрузке каждого работника.Что-то похожее на HAProxy lessconn - это то, что мне нужно.

Есть ли у работников способ сообщить о своей нагрузке / состоянии и распределить задачи соответствующим образом?Я в порядке с Dask или Celery, но больше всего знаком с Celery

Answer 1

Если вы используете Dask, он должен сделать это автоматически. Планировщик Dask заботится о балансировке нагрузки и сбое узла. Я ожидаю, что Celery сделает то же самое, хотя я там менее знаком.