ValueError: вы пытаетесь объединить столбцы datetime64 [ns] и объекта. Если вы хотите продолжить, вы должны использовать pd.concat

Question

Я хочу сделать сводную таблицу и заполнить ее в Date.I написал коды.

user_dct ={100:"Tom",101:"Jon",102:"Daisy"}
for key,value in user_dct.items():
        　file= './'+value+'.csv'
    　　 df = pd.read_csv(file)

Каждый д.ф.

    Date        ID        Name    Score        Rank
0    2011-01-12  100     Tom        40            C
1    2011-01-14  100     Tom        60            B
2    2011-01-19  100     Tom        80            A
・
・
・


   Date        ID        Name    Score        Rank
0    2011-01-12  101     Jon        30            C
1    2011-01-14  101     Jon        50            C
2    2011-01-19  101     Jon        60            B
・
・
・

user_dct ={100:"Tom",101:"Jon",102:"Daisy"}
dfs = []
for key,value in user_dct.items():
    file= './'+value+'.csv'
    dfs.append(pd.read_csv(file, parse_dates=['Date']))

df = pd.concat(dfs, ignore_index=True)
df =df.sort_values(['Date','ID']).set_index(['Date','ID'])

date_df = pd.DataFrame({'Date':pd.date_range('2011-01-01','2011-12-31',freq='1D').strftime('%Y-%m-%d')})
df = pd.merge(df, date_df, on='Date', how='outer').fillna(0)

Мой идеальный выход -

                        Name    Score        Rank
    Date    　　ID  
2011-01-01  100         Tom       0              0
                    101         Jon        0              0
                    102     Daisy       0              0  
                    ・
                                         ・
                                         ・
2011-01-12  100         Tom       40            C
                    101         Jon        30            C
                    102     Daisy       90            S
2011-01-14  100     Tom         60            B
                    101     Jon           50            C
                     102     Daisy       90            S
2011-01-19  100     Tom         80            A
                     101     Jon          60            B
                     102     Daisy      80            A
・
・
・

Что не так в моих кодах? Как это исправить? Почему происходит ошибка типа int? Я изменил sort_values ​​& set_index, но ошибка не исчезла.

Answer 1

Я думаю, что нужно:

idx = pd.date_range('2011-01-01','2011-12-31')
mux = pd.MultiIndex.from_product([idx, df['ID'].unique()], names=['Date','ID'])
df = df.set_index(['Date','ID']).reindex(mux, fill_value=0)
print (df.head())
               Name  Score Rank
Date       ID                  
2011-01-01 100    0      0    0
           101    0      0    0
2011-01-02 100    0      0    0
           101    0      0    0
2011-01-03 100    0      0    0