Python Parallelize Complex Multi-object для - PullRequest
Новая
       59

Python Parallelize Complex Multi-object для

0 голосов
/ 26 сентября 2019

У меня есть многообъектный цикл, подобный этому: 

a1 = A('path1')  # Class from external library
a2 = A('path2')  # Class from external library
b = B('path3', a2)  # Class from external library

for first, second in foo(a2, a1):  # function from external library
    # this loop is executed more than 100.000 times      
    # and has code that implies multiple conditions
    # writing in files and so on

Я пытался с joblib, ray и dask, но безуспешно (ошибки сериализации и т. Д.).

Какой подход вы бы использовали?Имеет ли это смысл?

Заранее благодарю за помощь

...