Как позволить Pool.map принимать лямбда-функцию

Question

У меня есть следующая функция:

def copy_file(source_file, target_dir):
    pass

Теперь я хотел бы использовать multiprocessing для одновременного выполнения этой функции:

p = Pool(12)
p.map(lambda x: copy_file(x,target_dir), file_list)

Проблема в том, что лямбда не может быть засолена, так что это не получается. Какой самый аккуратный (pythonic) способ исправить это?

Answer 1

Использовать объект функции:

class Copier(object):
    def __init__(self, tgtdir):
        self.target_dir = tgtdir
    def __call__(self, src):
        copy_file(src, self.target_dir)

Для запуска Pool.map:

p.map(Copier(target_dir), file_list)

Answer 2

Для Python2.7 + или Python3 вы можете использовать functools.partial :

import functools
copier = functools.partial(copy_file, target_dir=target_dir)
p.map(copier, file_list)

Answer 3

Вопрос немного устарел, но если вы все еще используете Python 2, мой ответ может быть полезен.

Хитрость заключается в том, чтобы использовать часть проекта pathos : multiprocess fork многопроцессорной обработки. Это избавляет от надоедливого ограничения оригинального многопроцессорности.

Установка: pip install multiprocess

Использование:

>>> from multiprocess import Pool
>>> p = Pool(4)
>>> print p.map(lambda x: (lambda y:y**2)(x) + x, xrange(10))
[0, 2, 6, 12, 20, 30, 42, 56, 72, 90]

Answer 4

От этого ответа, пафос, давайте вам запустим вашу лямбду p.map(lambda x: copy_file(x,target_dir), file_list) напрямую, сохраняя все обходные пути / хаки