панды групповой и фильтр на счет

Question

Я хочу захватить некоторые категориальные значения с вхождением выше определенного порога:

df:
ticket_id,  category,  amount --> some more columns
1020        cat1       1000
1022        cat1       55
1023        cat1       12291
1120        cat2       140
1121        cat3       1250 
^
|
|
Way more rows with mostly (1020) cat5, (98) cat1, cat3, cat4 and no cat2.

>>>> df.groupby('category')['amount'].count()
category
cat1       100
cat2       1
cat3       6
cat4       2
cat5       1020

Я хочу получить категории с количеством> 20 в списке.В настоящее время я делаю:

>>>> t = test.groupby('disposition')['fine_amount'].agg(['count','mean'])
>>>> t[t['count']>10].index.values
array(['cat1','cat5'])

Теперь это работает, но я считаю, что это можно сделать короче: для ссылки на count column мне нужно как минимум 2 агрегатные функции, еще больше мне нужна 1 переменная& 2 строки.Я надеялся что-то вроде:

>>>> groupby('category')['amount'].apply(lambda x: x.count() > 10)

, но это дает:

cat1    100   True
etc

>>>> groupby('category')['amount'].apply(lambda x: x[x.count() > 10])
Fails completely

>>>> groupby('category')['amount'].count().nlargest(2)
gives the correct list but in this case because I know there are 2 elements.

Какое самое элегантное / эффективное решение?

Answer 1

Вы можете использовать лямбда-экспресс в булевой индексации:

Заимствование из @ user2483203 setup:

np.random.seed(123)
categories = ['cat1', 'cat2', 'cat3', 'cat4', 'cat5']
dct = {'categories': [np.random.choice(categories) for i in range(100)], 'amount': [np.random.randint(1, 10) for _ in range(100)]}
df = pd.DataFrame(dct)

Использование value_counts и логическая индексация:

df['categories'].value_counts()[lambda x: x>20].index.tolist()

Выход:

['cat4', 'cat2']

Answer 2

Вы можете сделать это намного чище, просто используя результат вашей первоначальной групповой игры и индексировав, что:

Настройка

categories = ['cat1', 'cat2', 'cat3', 'cat4', 'cat5']
dct = {'categories': [random.choice(categories) for i in range(75)], 'amount': [random.randint(1, 10) for _ in range(75)]}
df = pd.DataFrame(dct)

groupby с count

s = df.groupby('categories').amount.count()

# categories
# cat1    12
# cat2    10
# cat3    21
# cat4    17
# cat5    15
# Name: amount, dtype: int64

Хорошая и чистая индексация:

s[s > 20].index.tolist()
['cat3']