Мне нужен способ получить список, содержащий конкретные данные столбца в Excel, но с ошибкой памяти, как я могу использовать dask для выполнения этой задачи, моя система имеет только 8 ГБ оперативной памяти.
Я создаю файл Excel из огромного файла .dat (содержащего текст, похожий на таблицу со строками и столбцами) около (2 ГБ или более), беря несколько столбцов из файла .dat. Я знаю номер строки ( из файла структуры) столбцов мне нужно извлечь и создал список этих данных.
я извлеку значения ячеек из структурированного файла, чтобы получить номера строк для использования в качестве столбцов
df=pd.DataFrame()
with open(r"C:/new.dat" ,encoding ="utf-16") as f:
content = f.readlines()
f.close()
C = []
c=[]
for k in range(1,sheet.nrows):
C = []
C.append(sheet.cell_value(k,0))
for line in content:
C.append(line[int(sheet.cell_value(k,1))-1:int(sheet.cell_value(k, 2))])
c.append(C)
d=iter(c)
#getting memory error from the code below
row = 0
workbook = xlsxwriter.Workbook('table.xlsx')
worksheet = workbook.add_worksheet()
for col, data in enumerate(d):
worksheet.write_column(row, col, data)
workbook.close()
Я хочу получить файл Excel без ошибки памяти.