df['index']
предназначен для доступа к столбцу 'index', а не для определенных данных.
Обратите внимание, что в python (Numpy) вы можете получить доступ к данным с помощью df[:, 2]
[строка, столбец]
В Pandas используйте вместо:
df.loc[:, 'index'] # [line number, column 'index'], : means all