для столбца c, если вы в порядке с типом NaN, это должно работать.
import pandas as pd
import numpy as np
df_data = {'lvl0':['foo','foo','bar','bar'],
'lvl1':['one','two','one','two'],
'a':[1,2,3,4],
'b':[2,2,1,1],
'c':[0,np.nan,1,np.nan]}
df = pd.DataFrame(df_data)
df.set_index(['lvl0','lvl1'])