Вставьте строку в pd.DataFrame без загрузки файла

Question

Следующий код эффективен для вставки строки (имен объектов) в мой набор данных в виде первой строки:

features = ['VendorID', 'mta_tax', 'tip_amount', 'tolls_amount', 'improvement_surcharge', 'total_amount']

df = pd.DataFrame(pd.read_csv(path + 'data.csv', sep=','))
df.loc[-1] = features  # adding a row
df.index = df.index + 1  # shifting index
df = df.sort_index()  # sorting by index

Но data.csv очень большой ~ 10 ГБ, поэтому мне интересно, могу ли я вставить строку features прямо в файл, не загружая его! Возможно ли это?

Спасибо

Answer 1

Вам не нужно загружать весь файл в память, используйте функциональность writer модуля stdlib csv, чтобы добавить строку в конец файла.

import csv
import os

with open(os.path.join(path, 'data.csv'), 'a') as f:
    writer = csv.writer(f)
    writer.writerow(features)