Как применить аргументы только для ключевых слов к функции в многопроцессорном пуле? - PullRequest
Новая
       20

Как применить аргументы только для ключевых слов к функции в многопроцессорном пуле?

0 голосов
/ 18 октября 2019

У меня есть функция, которая принимает аргумент только для ключевого слова и хочу запустить его в пуле процессов. Как передать мои записи из итерируемой функции в процессе в качестве аргумента ключевого слова? 

import multiprocessing

greetees = ('Foo', 'Bar')

def greet(*, greetee):
    return f'Hello, {greetee}!'

Я попытался использовать multiprocessing.map:

greetings = multiprocessing.Pool(2).map(greet, greetees)
for greeting in greetings:
    print(greeting)

Но возникает исключение, как и ожидалось: 

multiprocessing.pool.RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 119, in worker
    result = (True, func(*args, **kwds))
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 44, in mapstar
    return list(map(*args))
TypeError: greet() takes 0 positional arguments but 1 was given
"""

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/home/bengt/Projekte/gitlab.com/PFASDR/PFASDR.Code.Main/pfasdr/neural/multi_pool_kwargs.py", line 10, in <module>
    greetings = multiprocessing.Pool(2).map(greet, greetees)
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 266, in map
    return self._map_async(func, iterable, mapstar, chunksize).get()
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 644, in get
    raise self._value
TypeError: greet() takes 0 positional arguments but 1 was given

Работает нормально, если убрать звездочку, чтобы аргументы не требовали только ключевые слова: 

[...]
def greet(greetee):
    return f'Hello, {greetee}!'
[...]

Вывод: 

Hello, Foo!
Hello, Bar!

Ответы [ 2 ]

1 голос
/ 18 октября 2019

Решением здесь является использование Pool.apply или Pool.apply_async: 

greetings = list(
    multiprocessing.Pool(2).apply(greet, kwds={'greetee': greetees[i]})
    for i in range(len(greetees))
)
for greeting in greetings:
    print(greeting)

Выход: 

Hello, Foo!
Hello, Bar!
0 голосов
/ 18 октября 2019

Предоставлено Безумным физиком и этой QnA , можно использовать functools.partial для вставки аргументов только для ключевых слов в функцию: 

from functools import partial
greetings = []
for i in range(len(greetees)):
    kwargs = {'greetee': greetees[i]}
    greet_partial = partial(greet, **kwargs)
    greetings.append(multiprocessing.Pool(2).apply(greet_partial))

Или с менее изменяемым кровотечением: 

from functools import partial
greetings = [
    multiprocessing.Pool(2).apply(
        partial(greet, **{'greetee': greetees[i]})
    )
    for i in range(len(greetees))
]
...