Форматирование стоит отдельного вопроса.
Вот мой подход к слиянию , который, я думаю, вы ищете.
В кратком изложении мы используем comb_first ()
df_old_excel = pd.read_excel(r'C:\temp\Excel_Old_File.xlsx',header =1)
![enter image description here](https://i.stack.imgur.com/RNQVp.png)
df_new_excel = pd.read_excel(r'C:\temp\Excel_New_File.xlsx',header =1)
![enter image description here](https://i.stack.imgur.com/DvDqT.png)
df_old_excel = df_old_excel.set_index('DATE')
df_new_excel.index = df_old_excel.index
df_new_excel.combine_first(df_old_excel)
![enter image description here](https://i.stack.imgur.com/xBNSR.png)