многопроцессорный модуль против многопроцессорного модуля - PullRequest
0 голосов
/ 02 мая 2020

У меня есть функция, которую я хочу отобразить в список параллельно. Я выполнил задачу с помощью модуля multiprocess. Однако, когда я хочу запустить эту задачу с модулем multiprocessing, кажется, что процессы возникли, но ни один из них не начинает работать.

Функция и конфигурация модуля multiprocess следующие:

import pandas as pd
my_file = pd.read_csv('my_file.txt')

from datetime import date, timedelta
start_dates = []
for i in range(17):
    today = date.today() - timedelta(days = i)
    start_dates.append(today)
start_dates = pd.DataFrame(start_dates, columns = ['Date'])
start_dates = start_dates.merge(my_file)
start_dates = start_dates.values.tolist()

from multiprocess import Pool
pool = Pool(processes = 8)

my_func(valu):
    import pandas as pd
    df = read_csv('df.txt')
    df = df[df.Date > vale]
    #lots of other computations
    return final_df

result = pool.map(my_func, [st for st in start_dates])
pool.close()

results = pd.concat(result)

А функция и конфигурация модуля multiprocessing такие, как показано ниже:

my_func(valu):
    import pandas as pd
    df = read_csv('df.txt')
    df = df[df.Date > vale]
    #lots of other computations
    return final_df

from multiprocessing import Pool

import pandas as pd
my_file = pd.read_csv('my_file.txt')

from datetime import date, timedelta
start_dates = []
for i in range(17):
    today = date.today() - timedelta(days = i)
    start_dates.append(today)
start_dates = pd.DataFrame(start_dates, columns = ['Date'])
start_dates = start_dates.merge(my_file)
start_dates = start_dates.values.tolist()

def mp():
    pool = Pool(processes = 8)
    result = pool.map(my_func, [st for st in start_dates])
    return result

if __name__ == '__main__':
    mp()

results = pd.concat(result)

Проблема связана с порядком конфигурации multiprocessing, которую я написал?

Любая помощь приветствуется.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...