Как сохранить список в виде файла в Python непрерывно?(каждый элемент содержит фрейм данных)

Question

Как я могу сохранить список, содержащий фрейм данных, как каждый элемент в python?Кроме того, мне это нужно постоянно (добавление в список), поэтому на каждой итерации цикла я добавляю элемент в список.Этот новый элемент содержит фрейм данных.

for i in x:
## (some calculations (this takes time. approximately every 1 or 2 seconds, I have a new output (data-frame).)

## I need to save my results here (it's a list contains many data-frames.

Он работает весь день, и размер файла велик, поэтому важно сделать это эффективно (размер конечного файла должен быть небольшим,и процесс должен быть быстрым).

Answer 1

Если у вас есть фреймы данных в списке, вы можете использовать функцию to_csv фрейма данных, чтобы сохранить их как csv:

dfs = [df1, df2, df3, df4] #here dfs is a list containing different dataframes

for i, df in enumerate(dfs):
    df.to_csv(f'df{i}.csv')

Если вы используете

df.to_csv('df{}.csv'.format(str(i))

Сколько времени занимает сохранение кадра данных, действительно зависит от размера кадра данных.