Панды Самые последние значения "N" Non NA

Question

У меня есть фрейм данных:

2019-03-13 11:30:00+08:00       NaN       NaN  0.001143
2019-03-13 15:00:00+08:00       NaN       NaN       NaN
2019-03-14 01:00:00+08:00  0.003653       NaN       NaN
2019-03-14 10:15:00+08:00       NaN -0.002743       NaN
2019-03-14 11:30:00+08:00       NaN       NaN  0.000229
2019-03-14 15:00:00+08:00       NaN       NaN       NaN
2019-03-15 01:00:00+08:00 -0.000229       NaN       NaN
2019-03-15 10:15:00+08:00       NaN  0.003211       NaN
2019-03-15 11:30:00+08:00       NaN       NaN -0.006192
2019-03-15 15:00:00+08:00       NaN       NaN       NaN

Есть ли способ получить самые последние значения N = 2 для каждого столбца без зацикливания? т.е. пропуская все NaN. Существует last_valid_index(), но он получает только последнее значение. Было бы неплохо получить переопределение датыфрейма для даты и времени, чтобы они были выровнены. Возможно ли это?

Ожидаемый результат:

   1  0.003653  -0.002743     0.000229
   2  -0.000229  0.003211    -0.006192

Answer 1

IIUC

df.apply(lambda x : sorted(x,key=pd.notnull)).iloc[-2:]
                   1         2         3
2019-03-15  0.003653 -0.002743  0.000229
2019-03-15 -0.000229  0.003211 -0.006192