Многопроцессорная обработка в python с большим списком аргументов - PullRequest
0 голосов
/ 21 января 2020

Я новичок в python и борюсь с многопроцессорностью. У моей машины 8 процессорных ядер. У меня есть список чисел, которые должны быть обработаны по одному. Длина списка составляет 400.

list = [1, 2, 3...,400]

Моя функция выглядит так:

def abc():
   df1 = df1.query('xyz = list[0]') #Require multiprocessing here
   df2 = df2.query('efg = list[0]') #Require multiprocessing here
   result = do something with df1 and df2
   result.to_csv(file)
   print("result")

Я не знаю, как написать код, который будет распределять эти 400 аргументов между 8 ядрами ЦП. Также каждый результат подпроцесса записывается в один и тот же CSV-файл. Как этого достичь в python? Любая помощь будет оценена.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...