Каков наилучший метод для распределения задач по сельдерею среди разных работников, распределенных по нескольким машинам / контейнерам? - PullRequest
0 голосов
/ 07 июня 2019

Я пытаюсь распределить задачи сельдерея по разным файлам python, которые соответствуют разным рабочим, запланированным на разных машинах.Например,

  • load_data: data_loader.py, запланировано на общей машине, возвращает список объектов
  • process_data: process_data.py, запланировано несколько раз на высокопроизводительной машине, процессыпо одному объекту каждый

Оба рабочих (данные загрузки, данные процесса) должны работать на разных машинах, потому что данные процесса требуют гораздо более высокой производительности.

Является ли такое разделение задач целесообразным?Как правильно запустить работников?По совету Назначение разных заданий разным работникам сельдерея Я могу запустить рабочих только на той же машине.

...