Я работал с многопроцессорным модулем, пытаясь распараллелить a для l oop, для работы которого на одном ядре требуется 27 минут. В моем распоряжении 12 процессорных ядер.
Ниже приводится описание кода, который я использую, для распараллеливания:
import multiprocessing as mp
def Parallel_Work(val,b,c):
# Filter basis val to make a dataframe and do some work on it
# ...
values = pd.Series( [ "CompanyA",
"CompanyB",
"CompanyC", ] ) # Actual values list is quite big
with mp.Pool(processes=4) as pool:
results= [pool.apply( Parallel_Work,
args = ( val, b, c )
) for val in values.unique() ]
Когда я запускаю этот код, у меня есть столкнуться с двумя вещами, которые я не смог выяснить
Ни один из процессов не работает при максимальной загрузке процессора на 100%. Фактически суммарное использование ЦП всеми процессами каждый раз достигает 100% (ссылка на скриншот прилагается). Действительно ли процессы используют разные ядра? Если нет, то как мне убедиться, что они это делают.
результаты команды "top"
Возникло 4 процесса, однако только 2 активны в любой данный момент момент времени. Я что-то здесь упускаю?
Пожалуйста, дайте мне знать, могу ли я предоставить дополнительную информацию.