Как разделить задачи Python по сети

Question

У меня есть программа на Python, которая выполняет несколько независимых и трудоемких процессов.Код Python, как правило, является автоматическим и вызывает несколько командных файлов через popen.

В настоящее время программа занимает несколько часов, поэтому я хотел бы разделить ее на несколько машин.Как я могу разделить задачи для обработки параллельно с Python через сеть интрасети?

Answer 1

Существует много платформ параллелизации Python.Всего два варианта:

• Средства параллельных вычислений IPython

• Каркас распараллеливания jug

Answer 2

Я мог бы предложить STAF . Он рекламируется как среда тестирования программного обеспечения, но позволяет распределять действия между несколькими компьютерами (и несколькими платформами). Вы можете запускать сценарии, копировать данные и легко общаться между несколькими сеансами. Более того, его довольно легко интегрировать с уже существующими сценариями.

Answer 3

Для удаленного выполнения вы можете использовать execnet . Вы тоже должны распространять данные?