Тайм-аут многопроцессорного пула внутри процесса - PullRequest
Новая
       13

Тайм-аут многопроцессорного пула внутри процесса

3 голосов
/ 17 ноября 2009

Когда я использую следующий код, результат пула всегда возвращает тайм-аут, есть ли что-то логически неправильное, что я делаю? 

from multiprocessing import Pool, Process, cpu_count

def add(num):
  return num+1

def add_wrap(num):
  new_num = ppool.apply_async(add, [num])
  print new_num.get(timeout=3)

ppool = Pool(processes=cpu_count() )

test = Process(target=add_wrap, args=(5,)).start()

Мне известна эта ошибка , и я подумал бы, что она будет исправлена ​​в python 2.6.4?

1 Ответ

2 голосов
/ 17 ноября 2009

Нельзя передавать объекты пула между процессами.

Если вы попробуете этот код, Python выдаст исключение: «NotImplementedError: объекты пула не могут быть переданы между процессами или засолены». 

from multiprocessing import Queue, Pool

q = Queue()
ppool = Pool(processes=2)                                                       
q.put([ppool])
ppool = q.get()

Итак, если вы хотите, чтобы ваш код работал, просто создайте объект Pool в методе add_wrap. 

from multiprocessing import Pool, Process, cpu_count

def add(num):
  return num+1

def add_wrap(num):
  ppool = Pool(processes=cpu_count() )
  new_num = ppool.apply_async(add, [num])
  print new_num.get(timeout=3)

test = Process(target=add_wrap, args=(5,)).start()
...