У меня очень странная утечка памяти в python / pandas.Мой код очень большой и сложный, но суть в том, что я запускаю 8 больших (10 миллионов строк) кадров данных панд в цикле, каждый раз делая повторную выборку, так что 8 итераций.Фрейм данных имеет индекс отметки времени .Памяти достаточно для первых четырех или пяти итераций - память процесса поднимается и опускается до низкого уровня, но внезапно на пятой итерации использование памяти увеличивается до 1,5 Гб, и код разрывается с помощью MemoryError.Я очищаю переменные настолько, насколько это возможно, чтобы память оставалась стабильной первые несколько итераций.
Возможно ли, что в некоторых случаях python не выполняет сборку мусора, а в других - нет?
frequencyString = '5T'
for mydataframe in dataframes:
...
mydataframe.groupby(pd.Grouper(freq=frequencyString)).min()
...