ID многопроцессорного процесса Python - PullRequest
Новая
       25

ID многопроцессорного процесса Python

0 голосов
/ 04 мая 2018

Я использую многопроцессорность. В пуле тоже запускаются разные процессы (например, 4 процесса), и мне нужно идентифицировать каждый процесс, чтобы я мог делать разные вещи в каждом процессе.

Поскольку пул выполняется внутри цикла while, для первой итерации я могу знать идентификатор каждого процесса, однако для второй и более итераций этот идентификатор изменяется или, по крайней мере, я не могу найти одно свойство, которое кажется быть одинаковым для каждого процесса во всех итерациях.

Соответствующая часть кода выглядит следующим образом: 

     while i <= maxiter:
        print('\n' + 'Iteration: %r'%i + '\n')

        pool = mp.Pool(processes = numprocs)

        swarm = pool.map_async(partial(proxy, costf = costFunc, i=i),Swarm)
        pool.close()
        pool.join()

        Swarm = swarm.get()

Я пытался использовать следующие свойства, чтобы правильно идентифицировать процессы, но у меня это не работает: 

print(mp.Process().name)
print(mp.current_process().name)

При этом получается: 

Iteration: 1

Process-2:1
Process-1:1
ForkPoolWorker-1
ForkPoolWorker-2
Process-3:1
ForkPoolWorker-3
Process-2:2
ForkPoolWorker-2
Process-3:2
Process-2:3
ForkPoolWorker-3
ForkPoolWorker-2
Process-1:2
ForkPoolWorker-1
Process-4:1
Process-3:3
ForkPoolWorker-4
ForkPoolWorker-3
Process-2:4
ForkPoolWorker-2

Iteration: 2

Process-5:1
ForkPoolWorker-5
Process-5:2
Process-7:1
ForkPoolWorker-7
Process-6:1
ForkPoolWorker-5
ForkPoolWorker-6
Process-5:3
ForkPoolWorker-5
Process-7:2
ForkPoolWorker-7
Process-5:4
ForkPoolWorker-5
Process-6:2
ForkPoolWorker-6
Process-7:3
ForkPoolWorker-7
Process-8:1
ForkPoolWorker-8

Есть идеи, как каждый раз идентифицировать каждый процесс одинаково?

РЕДАКТ. 1:

Я упростил программу до этого, но идея та же: 

import random, numpy as np,time
import multiprocessing as mp

def costFunc(i):
    print(mp.current_process().name,mp.Process().name)
    return i*1

class PSO():
    def __init__(self,maxiter,numprocs):

        # Begin optimization Loop
        i = 1
        self.Evol = []

        while i <= maxiter:
            print('\n' + 'Iteration: %r'%i + '\n')
            pool = mp.Pool(processes = numprocs)
            swarm = pool.map_async(costFunc,(i,))
            pool.close()
            pool.join()

            Swarm = swarm.get()

            i += 1

if __name__ == "__main__":
    #mp.set_start_method('spawn')
    PSO(10,1)

ВЫВОД: 

Iteration: 1
ForkPoolWorker-1 Process-1:1
Iteration: 2
ForkPoolWorker-2 Process-2:1
Iteration: 3
ForkPoolWorker-3 Process-3:1
Iteration: 4
ForkPoolWorker-4 Process-4:1
Iteration: 5
ForkPoolWorker-5 Process-5:1
Iteration: 6
ForkPoolWorker-6 Process-6:1
Iteration: 7
ForkPoolWorker-7 Process-7:1
Iteration: 8
ForkPoolWorker-8 Process-8:1
Iteration: 9
ForkPoolWorker-9 Process-9:1
Iteration: 10
ForkPoolWorker-10 Process-10:1

1 Ответ

0 голосов
/ 04 мая 2018

Вы создаете новый пул на каждой итерации цикла, поэтому процессы в пуле никогда не используются повторно.

Переместите pool = mp.Pool(processes = numprocs) (и pool.close() и pool.join()) из цикла while для повторного использования процессов в пуле.

...