Память, используемая при чтении файлов JSON

Question

Я пытаюсь прочитать несколько файлов json и добавить их в кадр данных. При этом расходуется вся моя системная память, что замедляет весь процесс.

Я обнаружил, что pd.read_json () сделает копию каждого файла json и сохранит его в памяти. Я пытаюсь удалить эти кадры из памяти. Что-то не так в реализации

def read_json(filename):
file = []
start = time.time()
for i in filename:
    x = pd.read_json(i, lines=True)
    file.append(x)
    del x
data = pd.concat(file, axis=0, ignore_index=True)
end = time.time()
print(end - start)
return(data)

Как удалить кадры данных.

Если они удаляются, то чем вызвана потеря памяти

Answer 1

Вы можете заставить сборщик мусора освободить память без ссылок:

import gc
gc.collect()