Как использовать dask для записи огромного списка данных столбцов в столбцы файла Excel? - PullRequest
Новая
       32

Как использовать dask для записи огромного списка данных столбцов в столбцы файла Excel?

0 голосов
/ 28 июня 2019

Мне нужен способ получить список, содержащий конкретные данные столбца в Excel, но с ошибкой памяти, как я могу использовать dask для выполнения этой задачи, моя система имеет только 8 ГБ оперативной памяти.

Я создаю файл Excel из огромного файла .dat (содержащего текст, похожий на таблицу со строками и столбцами) около (2 ГБ или более), беря несколько столбцов из файла .dat. Я знаю номер строки ( из файла структуры) столбцов мне нужно извлечь и создал список этих данных.

я извлеку значения ячеек из структурированного файла, чтобы получить номера строк для использования в качестве столбцов 

df=pd.DataFrame()

with open(r"C:/new.dat" ,encoding ="utf-16") as f:
    content = f.readlines()
    f.close()
C = []

c=[]

for k in range(1,sheet.nrows):
    C = []
    C.append(sheet.cell_value(k,0))
    for line in content:
        C.append(line[int(sheet.cell_value(k,1))-1:int(sheet.cell_value(k, 2))]) 
    c.append(C)
    d=iter(c)


#getting memory error from the code below


row = 0
workbook = xlsxwriter.Workbook('table.xlsx')
worksheet = workbook.add_worksheet()
for col, data in enumerate(d):
    worksheet.write_column(row, col, data)
workbook.close()

Я хочу получить файл Excel без ошибки памяти.

...