Использование кросс-таблицы Pandas для вычисления перекрестного подсчета в столбце категории

Question

У меня есть таблица с категорией покупателя покупателя Я пытаюсь создать матрицу перекрестных продаж, в которой учитывается количество уникальных покупателей для каждой пары категорий продуктов, а также общее количество с уникальным количеством.

pandas.crosstab - хороший способ начать, но он не дает промежуточных итогов (т. Е. margins=True)

df = pd.DataFrame({
    'cust':  ['1', '1', '2', '3', '3', '4', '5'], # customer ID
    'categ': ['a', 'b', 'a', 'a', 'b', 'b', 'b']  # category ID
})
# have 2 columns to make the crosstab
dd = pd.merge(df, df, on='cust')

Тогда pd.crosstab(dd.categ_x, dd.categ_y, margins=True) дает:

| categ_x | a | b | All | 
|---------|---|---|-----| 
| a       | 3 | 2 | 5   | 
| b       | 2 | 4 | 6   | 
| All     | 5 | 6 | 11  | 

pd.merge помогает заполнить ячейки правильными цифрами в перекрестной таблице, но приводит к неправильному подсчету промежуточных итогов / полей

Что бы я ожидал, это:

| categ_x | a | b | All | 
|---------|---|---|-----| 
| a       | 3 | 2 | 3   | -- I have 3 unique clients with 'a'
| b       | 2 | 4 | 4   | -- I have 4 unique clients with 'b'
| All     | 3 | 4 | 5   | -- I have 5 unique clients in total

Я попробовал подсчитать, уникальные ... пока без особого успеха.

EDIT

jezrael ответ в порядке, но мне было интересно, был ли способ сделать это напрямую через crosstab, используя право aggfunc.

Answer 1

Я думаю, это делает то, что мне нужно:

pd.crosstab(
    dd.categ_x, dd.categ_y, margins=True, 
    values=dd.cust, aggfunc=pd.Series.nunique
)

дает:

| categ_x | a | b | All |
|---------|---|---|-----|
| a       | 3 | 2 | 3   |
| b       | 2 | 4 | 4   |
| All     | 3 | 4 | 5   |

pd.Series.nunique дает длину / размер уникальных значений values (здесь dd.cust).

Answer 2

Вы можете считать значения с помощью groupby.nunique и добавлять значения вручную с помощью join и append:

s = df2.groupby(['categ'])['cust'].nunique().rename('All')
s1 = s.append(pd.Series({'All': df2['cust'].nunique()}, name='All'))

df = pd.crosstab(dd.categ_x, dd.categ_y).join(s).append(s1)
print (df)
         a  b  All
categ_x           
a        3  2    3
b        2  4    4
All      3  4    5

Другое похожее решение:

s = df2.groupby(['categ'])['cust'].nunique().rename('All')
df = pd.crosstab(dd.categ_x, dd.categ_y).join(s).append(s)
df.loc['All','All'] = df2['cust'].nunique()
df = df.astype(int)
print (df)
         a  b  All
categ_x           
a        3  2    3
b        2  4    4
All      3  4    5