Мой код выглядит следующим образом:
import pandas as pd
import os
import glob
import numpy as np
# Reading files and getting Dataframes
PathCurrentPeriod = '/home/sergio/Documents/Energyfiles'
allFiles = glob.glob(PathCurrentPeriod + "/*.csv")
frame = pd.DataFrame()
list_ = []
for file_ in allFiles:
df = pd.read_csv(file_)
list_.append(df)
frame = pd.concat(list_, axis='rows')
Тем не менее, файлов около 300. Я думаю, что получаю «убитый» ответ от терминала, когда я запускаю его на VSCode, так как пытаюсь получить те300 файлов, хранящихся в «фрейме», могут привести к тому, что виртуальная машина, на которой я запускаю эту программу, выйдет из оперативной памяти.
Есть ли обходной путь?Можно ли использовать жесткий диск в качестве памяти для обработки или оперативной памяти?.
Проблема не в самом размере каждого CSV, так что я мог прочитать их кусками ... проблемаэто то, что я добавляю слишком много.