Совместное использование изменяемой глобальной переменной в Python multiprocessing.Pool - PullRequest
Новая
       106

Совместное использование изменяемой глобальной переменной в Python multiprocessing.Pool

1 голос
/ 30 апреля 2020

Я пытаюсь обновить общий объект (dict), используя следующий код. Но это не работает. Это дает мне вход dict в качестве выхода.

Редактировать : В общих чертах, я пытаюсь достичь этого, чтобы добавить элементы данных (список) в список диктанта. Элементы данных дают индексы в диктанте.

Ожидаемый результат : {'2': [2], '1': [1, 4, 6], '3': [3, 5]}
Примечание: ошибка повышения подхода 2 TypeError: 'int' object is not iterable

  1. Подход 1 

    from multiprocessing import *
def mapTo(d,tree):
        for idx, item in enumerate(list(d), start=1):
            tree[str(item)].append(idx)

data=[1,2,3,1,3,1]
manager = Manager()
sharedtree= manager.dict({"1":[],"2":[],"3":[]})
with Pool(processes=3) as pool:
    pool.starmap(mapTo, [(data,sharedtree ) for _ in range(3)])
  2. Подход 2 
 from multiprocessing import *
 def mapTo(d):
         global tree
         for idx, item in enumerate(list(d), start=1):
             tree[str(item)].append(idx)

 def initializer():
      global tree
      tree = dict({"1":[],"2":[],"3":[]})
 data=[1,2,3,1,3,1]
 with Pool(processes=3, initializer=initializer, initargs=()) as pool:
     pool.map(mapTo,data)```

1 Ответ

1 голос
/ 30 апреля 2020

Вам нужно использовать управляемые списки, если вы хотите, чтобы изменения были отражены. Итак, для меня работает следующее: 

from multiprocessing import *
def mapTo(d,tree):
        for idx, item in enumerate(list(d), start=1):
            tree[str(item)].append(idx)

if __name__ == '__main__':
    data=[1,2,3,1,3,1]

    with Pool(processes=3) as pool:
        manager = Manager()
        sharedtree= manager.dict({"1":manager.list(), "2":manager.list(),"3":manager.list()})
        pool.starmap(mapTo, [(data,sharedtree ) for _ in range(3)])

    print({k:list(v) for k,v in sharedtree.items()})

Это вывод: 

{'1': [1, 1, 1, 4, 4, 4, 6, 6, 6], '2': [2, 2, 2], '3': [3, 3, 5, 3, 5, 5]}

Обратите внимание, вы всегда должны использовать защиту if __name__ == '__main__': при использовании многопроцессорной обработки, также избегайте помеченных звездочкой import ...

Edit

Вы должны выполнить это переназначение, если вы используете Python <3.6, поэтому используйте это для <code>mapTo: 

def mapTo(d,tree):
        for idx, item in enumerate(list(d), start=1):
            l = tree[str(item)]
            l.append(idx)
            tree[str(item)] = l

И, наконец, вы не используете starmap / map правильно, вы передаете данные три раза, поэтому, конечно, все подсчитывается три раза. Операция сопоставления должна работать с каждым отдельным элементом данных, которые вы отображаете, поэтому вам нужно что-то вроде: 

from functools import partial
from multiprocessing import *
def mapTo(i_d,tree):
    idx,item = i_d
    l = tree[str(item)]
    l.append(idx)
    tree[str(item)] = l

if __name__ == '__main__':
    data=[1,2,3,1,3,1]

    with Pool(processes=3) as pool:
        manager = Manager()
        sharedtree= manager.dict({"1":manager.list(), "2":manager.list(),"3":manager.list()})
        pool.map(partial(mapTo, tree=sharedtree), list(enumerate(data, start=1)))

    print({k:list(v) for k,v in sharedtree.items()})
...