Многопроцессорная обработка в Python с использованием класса Pool - PullRequest
Новая
       55

Многопроцессорная обработка в Python с использованием класса Pool

0 голосов
/ 30 января 2020

Я хочу использовать многопроцессорность в python (в частности, в Pool Class) в windows (блокнот zeppelin). Но после прочтения я узнал, что класс Pool использует pickle в своей задней части и может использоваться только для объектов, которые можно мариновать. Так как я не могу сериализовать функцию или класс с помощью pickle в Python (по крайней мере, в версии 3.6), я обнаружил, что библиотека pathos.multiprocessing может использоваться для выполнения многопроцессорной обработки, поскольку она использует dill вместо pickle в серверная часть, которая в соответствии с dill пакетной документацией может сериализовать все что угодно. Но когда я использовал это, я получил ошибки. Ниже приведен простой код, который я использовал: 

import pathos.multiprocessing as mp

def cube(x):
    return x**3

p = mp.Pool(4)

p.apply(cube, [1,2,3])

И это ошибка, которую я получил: 

py4j.protocol.Py4JError: An error occurred while calling o0.__getstate__. Trace:
py4j.Py4JException: Method __getstate__([]) does not exist
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:335)
    at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:344)
    at py4j.Gateway.invoke(Gateway.java:279)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:133)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:209)
    at java.lang.Thread.run(Thread.java:748)

Я получил ту же ошибку, даже если я использовал карту, apply_asyn c или map_asyn c. Может кто-нибудь помочь мне выяснить проблему.

Заранее спасибо

1 Ответ

0 голосов
/ 30 января 2020

Также, если я использую код, подобный следующему: 

import multiprocessing as mp

def cube(x):
    return x**3

if __name__ == '__main__':
    p = mp.Pool(4)
    p.apply(cube, [1,2,3])

Я не вижу никаких возвращаемых результатов. Не уверен, в чем проблема.

...