Обработка ошибок при использовании цепочки групп в сельдерее - PullRequest
0 голосов
/ 17 ноября 2018

У меня 100 заданий.Но я хочу обрабатывать только 4 задачи одновременно.Как только эти 4 задачи будут выполнены, я хочу запустить следующий набор из 4 задач.Это можно сделать, сгруппировав задачи в наборы по 4, а затем связав их.Но некоторые задачи могут потерпеть неудачу между ними, как я могу обработать эти ошибки и предпринять соответствующие действия, так что я повторяю попытки только для тех задач, которые потерпели неудачу.Согласно моим знаниям в цепочке, если одна задача не будет выполнена, последующие задачи в цепочке не будут выполняться.Поэтому, если я реализую цепочку групп, если какие-либо задачи в группе не будут выполнены, вся цепочка потерпит неудачу.Предложите мне правильный метод обработки ошибок для этого, также будет признательна любая лучшая идея для реализации этого.

Я отключил бэкэнд результата.

Небольшой фон - у меня есть cron, который запускает каждый30-е годы реализованы с использованием сельдерея-бита, который поднимает 100 новых задач одновременно.Таким образом, все эти цепочки и группировки должны выполняться внутри функции cron.

Я использую сельдерей 3.1.25

1 Ответ

0 голосов
/ 17 ноября 2018

Не связывайте между собой задачи, если они независимы. Настройте параметры на работнике сельдерея для определенной очереди, чтобы ограничить число работников до 4, используя --concurrency 4 или -c 4.

...