airflow - LocalExecutor - сколько параллельных задач должно выполняться на процессор? - PullRequest
0 голосов
/ 16 мая 2019

Сколько разных задач должно выполняться параллельно на одной машине, используя airflow localexecutor (меня не интересует настройка машин celery / rabbitmq / multi только для параллельного выполнения задач)?Допустим, у меня машина 96CPU, параллелизм должен быть 100, 200, 500?

Мои задачи - только pythonoperator (rowcount для файла и восстановление куста msck) и sparksubmitoperator

...