Странное поведение с многопроцессорностью Pool.map - PullRequest
Новая
       7

Странное поведение с многопроцессорностью Pool.map

2 голосов
/ 13 июня 2019

Я наблюдаю очень странное поведение при использовании pool.map для вызова функции метода.Только с одним процессом поведение отличается от простого цикла for, и мы вводим несколько раз в блок if not self.seeded:, тогда как мы не должны этого делать.Ниже приведены коды и выходы: 

import os
from multiprocessing import Pool


class MyClass(object):
    def __init__(self):
        self.seeded = False
        print("Constructor of MyClass called")

    def f(self, i):
        print("f called with", i)
        if not self.seeded:
            print("PID : {}, id(self.seeded) : {}, self.seeded : {}".format(os.getpid(), id(self.seeded), self.seeded))
            self.seeded = True

    def multi_call_pool_map(self):
        with Pool(processes=1) as pool:
            print("multi_call_pool_map with {} processes...".format(pool._processes))
            pool.map(self.f, range(10))

    def multi_call_for_loop(self):
        print("multi_call_for_loop ...")
        list_res = []
        for i in range(10):
            list_res.append(self.f(i))


if __name__ == "__main__":
    MyClass().multi_call_pool_map()

выходы: 

Constructor of MyClass called
multi_call_pool_map with 1 processes...
f called with 0
PID : 18248, id(self.seeded) : 1864747472, self.seeded : False
f called with 1
f called with 2
f called with 3
PID : 18248, id(self.seeded) : 1864747472, self.seeded : False
f called with 4
f called with 5
f called with 6
PID : 18248, id(self.seeded) : 1864747472, self.seeded : False
f called with 7
f called with 8
f called with 9
PID : 18248, id(self.seeded) : 1864747472, self.seeded : False

И с циклом for: 

if __name__ == "__main__":
    MyClass().multi_call_for_loop()

выходы: 

Constructor of MyClass called
multi_call_for_loop ...
f called with 0
PID : 15840, id(self.seeded) : 1864747472, self.seeded : False
f called with 1
f called with 2
f called with 3
f called with 4
f called with 5
f called with 6
f called with 7
f called with 8
f called with 9

Как мы можем объяснить поведение с помощью pool.map (первый случай)?Я не понимаю, почему мы вводим несколько раз в блок if, потому что self.seeded установлен в False только в конструкторе, а конструктор вызывается только один раз ... (У меня есть Python 3.6.8)

Ответы [ 2 ]

3 голосов
/ 13 июня 2019

при запуске кода и печати self внутри f, мы видим, что перед каждым вводом предложения if экземпляр действительно изменяется: 

    def f(self, i):
        print("f called with", i, "self is",self)
        if not self.seeded:
            print("PID : {}, id(self.seeded) : {}, self.seeded : {}".format(os.getpid(), id(self.seeded), self.seeded))
            self.seeded = True

это приводит к:

Constructor of MyClass called
multi_call_pool_map with 1 processes...
f called with 0 self is <__main__.MyClass object at 0x7f30cd592b38>
PID : 22879, id(self.seeded) : 10744096, self.seeded : False
f called with 1 self is <__main__.MyClass object at 0x7f30cd592b38>
f called with 2 self is <__main__.MyClass object at 0x7f30cd592b38>
f called with 3 self is <__main__.MyClass object at 0x7f30cd592b00>
PID : 22879, id(self.seeded) : 10744096, self.seeded : False
f called with 4 self is <__main__.MyClass object at 0x7f30cd592b00>
f called with 5 self is <__main__.MyClass object at 0x7f30cd592b00>
f called with 6 self is <__main__.MyClass object at 0x7f30cd592ac8>
PID : 22879, id(self.seeded) : 10744096, self.seeded : False
f called with 7 self is <__main__.MyClass object at 0x7f30cd592ac8>
f called with 8 self is <__main__.MyClass object at 0x7f30cd592ac8>
f called with 9 self is <__main__.MyClass object at 0x7f30cd592a90>
PID : 22879, id(self.seeded) : 10744096, self.seeded : False

, если вы добавите chunksize=10 к .map(), он будет вести себя так же, как цикл for: 

    def multi_call_pool_map(self):
        with Pool(processes=1) as pool:
            print("multi_call_pool_map with {} processes...".format(pool._processes))
            pool.map(self.f, range(10), chunksize=10)

это выдаст: 

Constructor of MyClass called
multi_call_pool_map with 1 processes...
f called with 0 self is <__main__.MyClass object at 0x7fd175093b00>
PID : 22972, id(self.seeded) : 10744096, self.seeded : False
f called with 1 self is <__main__.MyClass object at 0x7fd175093b00>
f called with 2 self is <__main__.MyClass object at 0x7fd175093b00>
f called with 3 self is <__main__.MyClass object at 0x7fd175093b00>
f called with 4 self is <__main__.MyClass object at 0x7fd175093b00>
f called with 5 self is <__main__.MyClass object at 0x7fd175093b00>
f called with 6 self is <__main__.MyClass object at 0x7fd175093b00>
f called with 7 self is <__main__.MyClass object at 0x7fd175093b00>
f called with 8 self is <__main__.MyClass object at 0x7fd175093b00>
f called with 9 self is <__main__.MyClass object at 0x7fd175093b00>

точнопочему это происходит - очень сложная деталь реализации, связанная с тем, как multiprocessing обменивается данными между процессами в одном пуле.

Боюсь, я недостаточно квалифицирован, чтобы точно ответить, как и почему этоработает внутри.

1 голос
/ 14 июня 2019

Когда вы используете метод экземпляра с Pool.map, копия экземпляра объекта отправляется рабочему процессу с помощью модуля pickle.Ваши результаты показывают, как map работает в чанках, и что экземпляр объекта перезагружается из маринованной формы в начале каждого чанка.Загрузка маринада не вызывает __init__.

См. https://thelaziestprogrammer.com/python/a-multiprocessing-pool-pickle для более подробного объяснения того, что происходит под капотом.

...