У меня есть функция, которую я хочу отобразить в список параллельно. Я выполнил задачу с помощью модуля multiprocess
. Однако, когда я хочу запустить эту задачу с модулем multiprocessing
, кажется, что процессы возникли, но ни один из них не начинает работать.
Функция и конфигурация модуля multiprocess
следующие:
import pandas as pd
my_file = pd.read_csv('my_file.txt')
from datetime import date, timedelta
start_dates = []
for i in range(17):
today = date.today() - timedelta(days = i)
start_dates.append(today)
start_dates = pd.DataFrame(start_dates, columns = ['Date'])
start_dates = start_dates.merge(my_file)
start_dates = start_dates.values.tolist()
from multiprocess import Pool
pool = Pool(processes = 8)
my_func(valu):
import pandas as pd
df = read_csv('df.txt')
df = df[df.Date > vale]
#lots of other computations
return final_df
result = pool.map(my_func, [st for st in start_dates])
pool.close()
results = pd.concat(result)
А функция и конфигурация модуля multiprocessing
такие, как показано ниже:
my_func(valu):
import pandas as pd
df = read_csv('df.txt')
df = df[df.Date > vale]
#lots of other computations
return final_df
from multiprocessing import Pool
import pandas as pd
my_file = pd.read_csv('my_file.txt')
from datetime import date, timedelta
start_dates = []
for i in range(17):
today = date.today() - timedelta(days = i)
start_dates.append(today)
start_dates = pd.DataFrame(start_dates, columns = ['Date'])
start_dates = start_dates.merge(my_file)
start_dates = start_dates.values.tolist()
def mp():
pool = Pool(processes = 8)
result = pool.map(my_func, [st for st in start_dates])
return result
if __name__ == '__main__':
mp()
results = pd.concat(result)
Проблема связана с порядком конфигурации multiprocessing
, которую я написал?
Любая помощь приветствуется.