Как реализовать «ленивую» многопроцессорность? - PullRequest
Новая
       12

Как реализовать «ленивую» многопроцессорность?

0 голосов
/ 13 июня 2019

Допустим, у меня есть task.py, для запуска которого требуется 5 минут.

Мне нужно запустить task.py с 1000 различными входами.Каждый прогон task.py полностью независим и имеет мало памяти.Мне все равно, что все они заканчиваются одновременно, просто они заканчивают.

Я знаю, что могу использовать многопроцессорность или многопоточность , но этоесть хорошая причина не делать следующие действия: 

import subprocess
import sys
import numpy as np

for arg in np.arange(0, 1.01, .1):  
    print(contrib)
    pid = subprocess.Popen(
        [sys.executable, "C:/task.py", "--arg", str(arg)])
...