Добавление итогового значения при использовании функции groupedby в DataFrame

Question

Предположим, у меня есть следующий DataFrame

>>> d = {'col1': ['A', 'B', 'A', 'A', 'B'], 'col2': ['q1', 'q2', 'q1', 'q2', 'q1'], 
         'col3':[1, 2, 1, 4, 5]}

>>> df = pd.DataFrame(data=d)
>>> df
   col1  col2   col3
0     A     q1    1
1     B     q2    2
2     A     q1    1
3     A     q2    4
4     B     q1    5

Теперь я хотел бы сгруппировать это по col1 и col2, а также добавить общий итог ниже, поэтому мой результат будет:

                   col3
col1     col2
   A       q1         2
   A       q2         4
total_A               6
   B       q1         5  
   B       q2         2
total_B               7

Любые идеи о том, как добавить эту общую стоимость при сохранении сгруппированных столбцов 1 и 2?Желательно не вручную, так как мой фактический DataFrame немного больше

Answer 1

Вы можете попробовать это также:

d = df.groupby(['col1','col2']).sum()
pd.concat([d, 
           d.sum(level=0).assign(col2='')
            .rename(index=lambda x: x+' total')
            .set_index('col2', append=True)]).sort_index()

Вывод:

              col3
col1    col2      
A       q1       2
        q2       4
A total          6
B       q1       5
        q2       2
B total          7

Answer 2

Рассчитать итоговые значения отдельно и объединить их вместе:

# First step: GroupBy and sum.
u = df.groupby(['col1', 'col2']).sum()
# Second step: Compute the totals and set a MultiIndex for easy concatenation.
v = u.groupby(level=0).sum()
v.index = pd.MultiIndex.from_arrays([v.index, ['total'] * len(v)])
# Final step: Concat the intermediate results.
pd.concat([v, u]).sort_index(level=0, axis=0)

            col3
col1            
A    q1        2
     q2        4
     total     6
B    q1        5
     q2        2
     total     7