Как написать огромный CSV с 10CR строк и 10 столбцов в пандах

Question

У меня есть датафрейм pandas с более чем 10 строками и 10 столбцами.Я хочу написать это в формате CSV.В настоящее время я использую следующее

  df.to_csv("df1.csv")

Запись файла занимает много времени.Можем ли мы заархивировать его и записать в CSV?

Answer 1

Не уверен, будет ли это необходимо для ускорения, но вы разбили свой df на отдельные df и записали их.

# split df into 10 chunks
batch = 0
for chunk in np.array_split(df, 10):
    filename = 'my_filename_' + str(batch) + '.csv'    
    chunk.to_csv(filename, compression='zip')
    batch +=1

Вы могли бы параллельно обработать это и записать каждый файл асинхронно, однако это вероятноувеличить использование памяти