Элегантный способ объединения больших файлов CSV с использованием Pandas - PullRequest
0 голосов
/ 12 марта 2020

Я создал процедуру для добавления больших файлов CSV в один файл. Я отслеживаю количество фреймов данных, чтобы не повторять заголовок для следующих добавлений. В настоящее время это работает, но мне интересно, есть ли лучший способ написать этот код.

    init = 0
    #combined all files in a list
    for file in csv_files:
            chunk_container = pd.read_csv(file, chunksize=CHUNK_SIZE)
            # export to csv
            for chunk in chunk_container:
                if init == 0:
                    chunk.to_csv(output_file, mode="w", index=False)
                else:
                    chunk.to_csv(output_file, mode="a", index=False, header=None)
                init += 1
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...