Какую библиотеку вызывать из моего проекта.
Они служат разным целям, и вы не предоставили подробных сведений о том, что вы пытаетесь сделать.
Самым фундаментальным уровнем здесь является очередь задач, которая позволяет планировать фоновую работу, которая может быть сильно распараллелена. Это разветвление. Допустим, у вас был список из 1000 веб-сайтов, и вы хотели проверить время отклика для каждого из них и отправить электронное письмо для любого сайта, загрузка которого занимает более 5 секунд. Запустив их как параллельные задачи, вы сможете выполнить работу намного быстрее, чем если бы вы последовательно проверили все 1000 сайтов.
Теперь предположим, что вы не хотите отправлять электронную почту для каждого медленного сайта, вы просто хотите проверить все 1000 сайтов и отправить одно итоговое электронное письмо, в котором говорится, сколько из них заняло более 5 секунд, а сколько - меньше. Это фан-ин. С очередью задач сложнее, потому что вам нужно знать, когда все задачи завершены, и вам нужно собирать и суммировать их результаты.
Введите API конвейера. API-интерфейс Pipeline API абстрагирует очередь задач, чтобы упростить развертывание. Вы пишете то, что выглядит как синхронный процедурный код, но использует фьючерсы Python и выполняется (насколько это возможно) параллельно. Pipeline API отслеживает зависимости задач и собирает результаты, чтобы упростить построение распределенных рабочих процессов.
API MapReduce упаковывает API-интерфейс Pipeline, чтобы упростить определенный тип распределенного рабочего процесса: отображение результатов части работы в набор пар ключ / значение и сокращение нескольких наборов результатов в один путем объединения их значений.
Таким образом, они обеспечивают увеличивающиеся уровни абстракции и удобство вокруг общей системы выполнения распределенных задач. Правильное решение зависит от того, чего вы пытаетесь достичь.