Проблема производительности Python - Несколько методов, читающих один и тот же фрейм данных Pandas из определенного файла Pickle - PullRequest
Новая
       12

Проблема производительности Python - Несколько методов, читающих один и тот же фрейм данных Pandas из определенного файла Pickle

0 голосов
/ 10 июня 2019

У нас есть несколько (4) методов, считывающих один и тот же фрейм данных Pandas из определенного / одного и того же файла Pickle, хранящегося в локальном каталоге. Код, создающий единственный файл pickle, как показано ниже: - 

df_for_bokeh = pd.read_sql(sql_command,engine)
df_for_bokeh.to_pickle("./df_holoviewPlots.pkl")

Фрагменты кода из методов чтения файла рассылки, как показано ниже: - 

df_for_bokeh = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh1 = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh2 = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh3 = pd.read_pickle("./df_holoviewPlots.pkl")

Как видно выше Моя проблема с производительностью - будет ли это лучше, или мы должны разделить DF на 4 отдельных вместо одного и того же файла Pickle.

У нас не может быть файла маринованных данных - не зарезервированный, чтобы дать только 1 DataFrame. Нам понадобится как минимум - 4 разных фрейма данных для чтения из одного файла Pickle, и это тоже почти одновременно.

1 Ответ

0 голосов
/ 10 июня 2019

Существует ли причина, по которой вы не можете сделать следующее:

  1. Установить состояние блокировки загрузки
  2. Загрузить дату один раз
  3. Глубокое копирование столько объектов, сколько вам нужно https://docs.python.org/3.7/library/copy.html
  4. Отмена состояния блокировки загрузки

Это даст вам одни и те же данные в 4 разных независимых фреймах данных.

...