Если вы знаете, что все годы в индексе также есть в ваших столбцах, вы можете попробовать следующее:
import pandas as pd
import numpy as np
df = pd.DataFrame(
{2008: 5*[1], 2009: 5*[2], 2010: 5*[3], 2011: 5*[4], 2012: 5*[5]},
index=[2008, 2011, 2010, 2009, 2012]
)
np.diag(df.loc[df.index, df.index])
Результат:
array([1, 4, 3, 2, 5])