Используя pool.map в вызове API, снова вызывает API - PullRequest
0 голосов
/ 22 марта 2020

Я использую pool.map в функции, которая параллельно вызывает функцию на разных порциях информационного кадра. Я использую это в Django API.

Из моего вызова API сделан вызов функции parallelize_df, которая создает pool и pool.map. Но я заметил, что всякий раз, когда вызывается pool.map, API вызывается снова. Это не проблема, если размер фрейма данных мал.

Может кто-нибудь помочь, пожалуйста

Код:

    def parallelize_df(df, function_name):   

        dataframe_split = np.array_split(df, num_partitions)
        pool = Pool(multiprocessing.cpu_count())
        df = pd.concat(pool.map(function_name, dataframe_split))    

        pool.close()
        pool.join()

        return df
    def calculate(df_input):
        # do some calculation
        return df

1 Ответ

0 голосов
/ 22 марта 2020

Мое плохое, проблема была из-за тестирования с использованием Chrome. Я предполагаю, что когда запрос API занимал много времени, Chrome отправлял запрос повторно. Попытался с помощью Почтальона, и я не могу повторить проблему

...