Python Multiprocessing Pool.map вызывает ошибку в __new__ - PullRequest
Новая
       5

Python Multiprocessing Pool.map вызывает ошибку в __new__

3 голосов
/ 20 января 2020

В простом примере Python 3 ниже, где мы используем модуль multiproessing для обработки списка friends, что вызывает ошибку:

TypeError: new () отсутствует 1 обязательный позиционный аргумент: 'name'

При простом запуске 

tom = Friend(tom)
say_hello(tom)

не возникает никаких ошибок. Есть идеи, как мы можем решить эту проблему? Спасибо!

Код 

import multiprocessing

def say_hello(friend):
    print('Hello', friend.name, '!')

class Friend:
    friends = {}
    def __new__(cls, name):
        if name not in cls.friends:
            cls.friends[name] = super(Friend, cls).__new__(cls)
        return cls.friends[name]

    def __init__(self, name):
        self.name = name

jack = Friend('jack')
ryan = Friend('ryan')
friends = [jack, ryan]
multiprocessing.Pool(2).map(say_hello, friends)

Полная трассировка ошибок 

Traceback (most recent call last):
  File "/Users/nyxynyx/opt/anaconda3/lib/python3.7/multiprocessing/process.py", line 297, in _bootstrap
    self.run()
  File "/Users/nyxynyx/opt/anaconda3/lib/python3.7/multiprocessing/process.py", line 99, in run
    self._target(*self._args, **self._kwargs)
  File "/Users/nyxynyx/opt/anaconda3/lib/python3.7/multiprocessing/pool.py", line 110, in worker
    task = get()
  File "/Users/nyxynyx/opt/anaconda3/lib/python3.7/multiprocessing/queues.py", line 354, in get
    return _ForkingPickler.loads(res)
TypeError: __new__() missing 1 required positional argument: 'name'

Ответы [ 2 ]

2 голосов
/ 20 января 2020

Это ошибка во время удаления, потому что name не был подготовлен для передачи при воссоздании объекта во время удаления.

Его уже можно воспроизвести с помощью: 

pickle.loads(pickle.dumps(jack))

Traceback (most recent call last): 
  ...
    exec(code_obj, self.user_global_ns, self.user_ns)
  File "<ipython-input-9-239857af5731>", line 1, in <module>
    pickle.loads(pickle.dumps(jack))
TypeError: __new__() missing 1 required positional argument: 'name'

решение состоит в том, чтобы реализовать object.__getnewargs__() или object.__getnewargs_ex__().

объект. getnewargs ()

Этот метод выполняет те же функции, что и getnewargs_ex (), но поддерживает только позиционные аргументы. Он должен возвращать кортеж аргументов аргументов, которые будут переданы методу new () при откреплении.

getnewargs () не будет вызываться, если getnewargs_ex () определено.

Изменено в версии 3.6: До Python 3.6, getnewargs () вместо getnewargs_ex () в протоколах 2 и 3.

Так в вашем случае: 

def __getnewargs__(self):
    return self.name,
1 голос
/ 20 января 2020

Определите __reduce__, чтобы сделать объекты класса Friend с возможностью выбора (сериализации) для отправки в другие процессы. 

import multiprocessing

def say_hello(friend):
    print('Hello', friend.name, '!')

class Friend:
    friends = {}
    def __new__(cls, name):
        if name in cls.friends:
            return cls.friends[name]
        else:
            return super(Friend, cls).__new__(cls)

    def __init__(self, name):
        self.name = name

    def __reduce__(self):
        return self.__class__, (self.name,)

jack = Friend('jack')
ryan = Friend('ryan')
friends = [jack, ryan]
multiprocessing.Pool(2).map(say_hello, friends)
...