Найти разные процентили для каждой группы во фрейме данных - PullRequest
Новая
       85

Найти разные процентили для каждой группы во фрейме данных

0 голосов
/ 12 февраля 2019

У меня есть рамка даты со следующей структурой: 

df = pd.DataFrame({'GROUP_ID': np.random.randint(1, 7, size=100),
                     'VALUES': np.random.randint(0, 50, size=100)})
df['THRESHOLD'] = df['GROUP_ID']*5
df = df[['GROUP_ID','VALUES','THRESHOLD']]
df.sort_values(by='GROUP_ID', inplace=True)

(это только для примера)

Столбец THRESHOLD на самом деле представляет собой процентиль (в%) для каждой группы,И мне нужно добавить столбец «PERCENTILE», в котором должно быть числовое значение процентиля для значений в каждой группе.

Я пытался использовать groupby и apply, но я неполучить, как передать значения столбца THRESHOLD в параметр q в функции quantile\percentile.

1 Ответ

0 голосов
/ 12 февраля 2019

Создать словарь и порог карты с помощью x.name для GROUP_ID, переданного в функцию transform для нового столбца с quantile, только необходимый порог между 0 и 1:

np.random.seed(152)
df = pd.DataFrame({'GROUP_ID': np.random.randint(1, 7, size=100),
                     'VALUES': np.random.randint(0, 50, size=100)})
df['THRESHOLD'] = df['GROUP_ID'] / 15
df = df[['GROUP_ID','VALUES','THRESHOLD']]
df.sort_values(by='GROUP_ID', inplace=True)

d = dict(zip(df['GROUP_ID'], df['THRESHOLD']))
df['new'] = df.groupby('GROUP_ID')['VALUES'].transform(lambda x: x.quantile(d[x.name]))
print (df.head(20))
    GROUP_ID  VALUES  THRESHOLD       new
23         1      17   0.066667  7.733333
53         1       9   0.066667  7.733333
39         1      43   0.066667  7.733333
57         1      15   0.066667  7.733333
36         1      47   0.066667  7.733333
59         1      17   0.066667  7.733333
28         1       4   0.066667  7.733333
63         1      33   0.066667  7.733333
18         1      12   0.066667  7.733333
12         1      27   0.066667  7.733333
47         1      43   0.066667  7.733333
81         1      45   0.066667  7.733333
91         1      45   0.066667  7.733333
5          1       8   0.066667  7.733333
83         1      26   0.066667  7.733333
61         2      39   0.133333  4.200000
95         2      33   0.133333  4.200000
44         2      22   0.133333  4.200000
42         2      34   0.133333  4.200000
41         2      48   0.133333  4.200000
...