В моем проекте python я хочу использовать сельдерей для создания конвейера задач: некоторые задачи будут сгруппированы, и эта группа является частью цепочки. Схема конвейера:
task_chain = chain(
group(
chain(taks1.s(uid=uid, index=i), task2.s(uid=uid, index=i)) for i in
range(len(collection))
),
task3.s(uid=uid),
task4.s(uid=uid),
reduce_job_results_from_pages.s(job_uid=job_uid),
push_metrics.s(job_uid=job_uid))
Должен ли я использовать бэкэнд результата в этом случае или достаточно только брокера? Я не понимаю, какую технологию использует сельдерей для синхронизации c результатов задач и передачи результата предыдущей задачи или группы задач следующей в цепочке.
Спасибо!