Я работаю над созданием 1000 моделей , и каждая из них прогнозирует продажи для разных отраслей.
Я несколько раз перезаписываю прогнозируемый результат, используя pd.to_csv, как показано ниже, обнаружив, что использование памяти резко увеличивается примерно на 10 ГБ, и я подозреваю, что pd.to_csv может привести к неэффективному использованию памяти:
# run_model() function repeatedly yield the result
# of forecast DataFrame of one branch.
# and I append it to previous one
# to aggregate them as one csv file.
predict = pd.DataFrame()
for yield_forecast_df in run_model(Data):
predict = predict.append(yield_forecast_df, ignore_index=True)
predict.to_csv('forecast_for_all_branch.csv', index=False)
Я упростил код.
Если pd.to_csv не имеет ничего общего с огромным использованием памяти, я подозреваю, что auto_arima может вызвать эту проблему, потому что я занимаюсь моделированием по auto_arima.
Не могли бы вы дать мне несколько советов о причине резкого увеличения использования памяти?