Добавление процесса к списку (но бездействие с ним) изменяет поведение программы - PullRequest
Новая
       11

Добавление процесса к списку (но бездействие с ним) изменяет поведение программы

8 голосов
/ 06 ноября 2011

В следующей программе, когда я добавляю процесс в список (казалось бы, бессмысленная вещь), он запускается, как и ожидалось. Но если я удаляю добавление, деструктор процессов вызывается много раз, прежде чем он запускается. Есть только n конструкции, но (n)(n+1)/2 (где n - количество процессов) разрушения. Это заставляет меня поверить, что каждый процесс копируется в каждый новый процесс, а затем немедленно уничтожается. Возможно, именно так работает многопроцессорный модуль. Это имеет смысл, поскольку каждый процесс является форком текущего. Но каково значение добавления в список? Почему просто сделать это остановить это поведение?

Вот тест и пример вывода: 

import multiprocessing

class _ProcSTOP:
    pass

class Proc(multiprocessing.Process):

    def __init__(self, q, s): 
        s.i += 1
        self._i = s.i 
        self._q = q 
        print('constructing:', s.i)
        super().__init__()

    def run(self):
        dat = self._q.get()

        while not dat is _ProcSTOP:
            self._q.task_done()
            dat = self._q.get()

        self._q.task_done()
        print('returning:   ', self._i)

    def __del__(self):
        print('destroying:  ', self._i)



if __name__ == '__main__':

    q = multiprocessing.JoinableQueue()
    s = multiprocessing.Manager().Namespace()
    s.i = 0 
    pool = []

    for i in range(4):
        p = Proc(q, s)
        p.start()
        pool.append(p)    # This is the line to comment

    for i in range(10000):
        q.put(i)

    q.join()

    for i in range(4):
        q.put(_ProcSTOP)

    q.join()

    print('== complete')

Пример вывода с добавлением: 

constructing: 1
constructing: 2
constructing: 3
constructing: 4
returning:    3
returning:    2
== complete
returning:    1
returning:    4
destroying:   4
destroying:   3
destroying:   2
destroying:   1

Пример вывода без добавления: 

constructing: 1
constructing: 2
constructing: 3
destroying:   1
constructing: 4
destroying:   1
destroying:   2
destroying:   3
destroying:   1
destroying:   2
returning:    1
returning:    4
returning:    2
== complete
returning:    3
destroying:   1
destroying:   3
destroying:   2
destroying:   4

1 Ответ

1 голос
/ 06 ноября 2011

Добавление объекта в список предотвратит его удаление в дочерних процессах, потому что после разветвления он вызовет «os._exit ()» вместо очистки всего стека

Соответствующий код находится в многопроцессорной обработке /forking.py (конструктор Popen, который вызывается для "p.start ()") 

 self.pid = os.fork()
 if self.pid == 0:
     if 'random' in sys.modules:
         import random
         random.seed()
     code = process_obj._bootstrap()
     sys.stdout.flush()
     sys.stderr.flush()
     os._exit(code)

Где _bootstrap устанавливает новый процесс и вызывает "run" (код находится в multiprocessing / process.py)

...