Я создал процедуру для добавления больших файлов CSV в один файл. Я отслеживаю количество фреймов данных, чтобы не повторять заголовок для следующих добавлений. В настоящее время это работает, но мне интересно, есть ли лучший способ написать этот код.
init = 0
#combined all files in a list
for file in csv_files:
chunk_container = pd.read_csv(file, chunksize=CHUNK_SIZE)
# export to csv
for chunk in chunk_container:
if init == 0:
chunk.to_csv(output_file, mode="w", index=False)
else:
chunk.to_csv(output_file, mode="a", index=False, header=None)
init += 1