Добавление строк df в другой df на основе значения его индекса

Question

У меня есть следующее df1:

              col1    col2   col3  col4  col5
        A       3       4     1      2    1
        B       2       1     2      3    1
        C       2       3     4      2    1

С другой стороны, у меня есть df2:

              type    col1    col2   col3
        j      A       0.5     0.7    0.1
        k      B       0.2     0.3    0.9 
        l      A       0.5     0.3    0.2
        m      C       0.8     0.7    0.1
        n      A       0.3     0.3    0.2
        o      B       0.1     0.7    0.3

Учитывая столбец type в df2Я хотел бы создать такую ​​сводную таблицу, как это:

             col1    col2   col3  col4  col5
    A          3       4     1      2    1
        j     0.5     0.7    0.1
        l     0.5     0.3    0.2
        n     0.3     0.3    0.2
    B          2       1     2      3    1
        k     0.2     0.3    0.9 
        o     0.1     0.7    0.3
    C          2       3     4      2    1
        m     0.8     0.7    0.1

Есть ли в пандах предварительно созданная функция, которую я мог бы использовать для добавления каждой строки в df2 ниже соответствующего индекса в df1?

Извините, я не включил свою попытку, но понятия не имею, как решить эту проблему.

Answer 1

Использование pd.merge и sort_index с указанием na_position='first'

pd.merge(df2.reset_index(), 
         df.reset_index().rename(columns={'index':'type'}),
         'outer')\
.set_index(['type', 'index'])\
.sort_index(na_position='first')

                col1   col2   col3  col4   col5
type    index                   
A       NaN     3.0    4.0    1.0   2.0    1.0
        j       0.5    0.7    0.1   NaN    NaN
        l       0.5    0.3    0.2   NaN    NaN
        n       0.3    0.3    0.2   NaN    NaN
B       NaN     2.0    1.0    2.0   3.0    1.0
        k       0.2    0.3    0.9   NaN    NaN
        o       0.1    0.7    0.3   NaN    NaN
C       NaN     2.0    3.0    4.0   2.0    1.0
        m       0.8    0.7    0.1   NaN    NaN

Как выделено @jpp, в документах для sort_index itговорит, что

na_position: {'first', 'last'}, по умолчанию 'last' сначала ставит NaN в начале, последний ставит NaN в конце. Не реализовано для MultiIndex.

, хотя кажется, что действительно реализовано .

Однако, если вы считаете, что это поведение может быть противоречивым, альтернативой является сначала sort_values, а затем только установка индекса.В sort_values Документах такого не реализованного предупреждения не существует.

pd.merge(df2.reset_index(), 
         df.reset_index().rename(columns={'index':'type'}), 
         'outer')\
.sort_values(['type', 'index'], na_position='first')\
.set_index(['type', 'index'])

Answer 2

Аналогично @ jpp

d2 = df2.rename_axis('k').set_index('type', append=True).swaplevel(0, 1)
d1 = df1.set_index(np.zeros(len(df1), str), append=True).rename_axis(['type', 'k'])

d1.append(d2).sort_index()

        col1  col2  col3  col4  col5
type k                              
A        3.0   4.0   1.0   2.0   1.0
     j   0.5   0.7   0.1   NaN   NaN
     l   0.5   0.3   0.2   NaN   NaN
     n   0.3   0.3   0.2   NaN   NaN
B        2.0   1.0   2.0   3.0   1.0
     k   0.2   0.3   0.9   NaN   NaN
     o   0.1   0.7   0.3   NaN   NaN
C        2.0   3.0   4.0   2.0   1.0
     m   0.8   0.7   0.1   NaN   NaN

---

Альтернативный

df1.rename_axis('type').assign(k='').set_index('k', append=True).append(
    df2.rename_axis('k').set_index('type', append=True).swaplevel(0, 1)
).sort_index()

        col1  col2  col3  col4  col5
type k                              
A        3.0   4.0   1.0   2.0   1.0
     j   0.5   0.7   0.1   NaN   NaN
     l   0.5   0.3   0.2   NaN   NaN
     n   0.3   0.3   0.2   NaN   NaN
B        2.0   1.0   2.0   3.0   1.0
     k   0.2   0.3   0.9   NaN   NaN
     o   0.1   0.7   0.3   NaN   NaN
C        2.0   3.0   4.0   2.0   1.0
     m   0.8   0.7   0.1   NaN   NaN

Answer 3

Кажется, вам нужно MultiIndex здесь.Вы должны не использовать NaN индексы, как показано в желаемом результате: на ярлыке отсутствует значение.Одна идея состоит в том, чтобы использовать не буквенный индикатор, такой как 0:

# set index as (type, current_index) for df2
df2 = df2.reset_index().set_index(['type', 'index']).sort_index()

# reassign index as (type, 0) for df1
df1.index = pd.MultiIndex.from_tuples([(i, 0) for i in df1.index])

# concatenate df1 and df2
res = pd.concat([df1, df2]).sort_index()

print(res)

     col1  col2  col3  col4  col5
A 0   3.0   4.0   1.0   2.0   1.0
  j   0.5   0.7   0.1   NaN   NaN
  l   0.5   0.3   0.2   NaN   NaN
  n   0.3   0.3   0.2   NaN   NaN
B 0   2.0   1.0   2.0   3.0   1.0
  k   0.2   0.3   0.9   NaN   NaN
  o   0.1   0.7   0.3   NaN   NaN
C 0   2.0   3.0   4.0   2.0   1.0
  m   0.8   0.7   0.1   NaN   NaN