Я использую pool.map в функции, которая параллельно вызывает функцию на разных порциях информационного кадра. Я использую это в Django API.
Из моего вызова API сделан вызов функции parallelize_df, которая создает pool и pool.map. Но я заметил, что всякий раз, когда вызывается pool.map, API вызывается снова. Это не проблема, если размер фрейма данных мал.
Может кто-нибудь помочь, пожалуйста
Код:
def parallelize_df(df, function_name):
dataframe_split = np.array_split(df, num_partitions)
pool = Pool(multiprocessing.cpu_count())
df = pd.concat(pool.map(function_name, dataframe_split))
pool.close()
pool.join()
return df
def calculate(df_input):
# do some calculation
return df