В основном вам нужно взять выходные данные одной задачи и применить выходные данные в качестве входных данных для другой задачи.сельдерей не пригодится в этом.
В режиме сельдерея у вас может быть планировщик периодических задач, который выполняет задания (часть карты) асинхронно и сохраняет ссылку на задачу самостоятельно, если это отдельный компьютер, или публикует ссылку на серверную часть БД (redis /монго / и т.д.).Вам могут понадобиться планировщики, чтобы собрать этот результат и применить его к функциям уменьшения.
Я бы сказал, что вы запускаете свои собственные процессы python для map и Reduction на всех кластерах и убедитесь, что вы сохраняете результат в памяти db, например, redis, и используете celery для выполнения задач на карте и Reduce.Ваш основной процесс будет собирать и объединять результаты.