Конкатенация панелей данных с приоритетной заменой NaN

Question

У меня есть данные, собранные из линии инструментов с некоторым перекрытием. Я хочу объединить их в единую структуру данных pandas таким образом, чтобы новейшие доступные данные для каждого столбца имели приоритет, если не NaN, в противном случае более старые данные сохраняются.

Следующий код производит намеченный вывод, но включает в себя много кода для такой простой задачи. Кроме того, последний шаг включает в себя определение дублированных значений индекса, и я волнуюсь, могу ли я полагаться на «последнюю» часть, потому что df.combine_first (other) переупорядочивает данные. Есть ли более компактный, эффективный и / или предсказуемый способ сделать это?

# set up the data
df0 = pd.DataFrame({"x": [0.,1.,2.,3.,4,],"y":[0.,1.,2.,3.,np.nan],"t" :[0,1,2,3,4]})   # oldest/lowest priority
df1 = pd.DataFrame({"x" : [np.nan,4.1,5.1,6.1],"y":[3.1,4.1,5.1,6.1],"t": [3,4,5,6]})
df2 = pd.DataFrame({"x" : [8.2,10.2],"t":[8,10]})
df0.set_index("t",inplace=True)
df1.set_index("t",inplace=True)
df2.set_index("t",inplace=True)

# this concatenates, leaving redundant indices in df0, df1, df2
dfmerge = pd.concat((df0,df1,df2),sort=True)
print("dfmerge, with duplicate rows and interlaced NaN data")
print(dfmerge)

# Now apply, in priority order, each of the original dataframes to fill the original
dfmerge2 = dfmerge.copy()
for ddf in (df2,df1,df0):
    dfmerge2 = dfmerge2.combine_first(ddf)
print("\ndfmerge2, fillable NaNs filled but duplicate indices now reordered")
print(dfmerge2)   # row order has changed unpredictably

# finally, drop duplicate indices
dfmerge3 = dfmerge2.copy()
dfmerge3 = dfmerge3.loc[~dfmerge3.index.duplicated(keep='last')]
print ("dfmerge3, final")
print (dfmerge3)

Выход которого такой:

dfmerge, with duplicate rows and interlaced NaN data
       x    y
t            
0    0.0  0.0
1    1.0  1.0
2    2.0  2.0
3    3.0  3.0
4    4.0  NaN
3    NaN  3.1
4    4.1  4.1
5    5.1  5.1
6    6.1  6.1
8    8.2  NaN
10  10.2  NaN

dfmerge2, fillable NaNs filled but duplicate indices now reordered
       x    y
t            
0    0.0  0.0
1    1.0  1.0
2    2.0  2.0
3    3.0  3.0
3    3.0  3.1
4    4.0  4.1
4    4.1  4.1
5    5.1  5.1
6    6.1  6.1
8    8.2  NaN
10  10.2  NaN

dfmerge3, final
       x    y
t            
0    0.0  0.0
1    1.0  1.0
2    2.0  2.0
3    3.0  3.1
4    4.1  4.1
5    5.1  5.1
6    6.1  6.1
8    8.2  NaN
10  10.2  NaN

Answer 1

В вашем случае

s=pd.concat([df0,df1,df2],sort=False)
s[:]=np.sort(s,axis=0)
s=s.dropna(thresh=1)
s
      x    y
t           
0   0.0  0.0
1   1.0  1.0
2   2.0  2.0
3   3.0  3.0
4   4.0  3.1
3   4.1  4.1
4   5.1  5.1
5   6.1  6.1
6   8.2  NaN
8  10.2  NaN