Как объединить большие данные столбца CSV-файлов в один CSV-файл с помощью Pandas?

Question

У меня много больших CSV-файлов с данными по странам, и я хочу объединить их столбец в один CSV-файл, кроме того, каждый файл имеет год в качестве индекса и одинаковый по длине и числам. Ниже вы можете увидеть пример файла Japan.csv.

Если кто-нибудь может мне помочь, пожалуйста, дайте мне знать. Спасибо !!

Answer 1

Это должно работать. Он просматривает каждое имя файла, читает его и объединяет все в один файл. Вы можете экспортировать этот df в csv или делать с ним что угодно. гл.

import pandas as pd

def combine_csvs_into_one_df(names_of_files):
    one_big_df = pd.DataFrame()
    for file in names_of_files:
        try:
            content = pd.read_csv(file)
        except PermissionError:
            print (file,"was not found")
            continue

        one_big_df = pd.concat([one_big_df,content])
        print (file," added!")

    print ("------")
    print ("Finished")

    return one_big_df 

Answer 2

Попробуйте использовать:

import pandas as pd
import glob
l = []
path = 'path/to/directory/'
csvs = glob.glob(path + "/*.csv")
for i in csvs:
    df = pd.read_csv(i, index_col=None, header=0)
    l.append(df)
df = pd.concat(l, ignore_index=True)