Используйте pd.to_datetime
в индексе:
df.index = pd.to_datetime(df.index, format='%Y%m')
>>> df
India China
date
2018-06-01 2 1
2018-05-01 1 2
2018-04-01 3 1
[РЕДАКТИРОВАТЬ: для вашего отредактированного входного кадра данных] :
df.index = pd.to_datetime(df.index, format='%YM%m')
>>> df
India China
date
2018-06-01 2 1
2018-05-01 1 2
2018-04-01 3 1