Подмножество исходного кадра данных на основе сгруппированных квантилей

Question

Это мой df:

   NAME  DEPTH    A1        A2      A3      AA4     AA5     AI4     AC5     Surface 
0  Ron   2800.04  8440.53   1330.99 466.77  70.19   56.79   175.96  77.83   C
1  Ron   2801.04  6084.15   997.13  383.31  64.68   51.09   154.59  73.88   C 
2  Ron   2802.04  4496.09   819.93  224.12  62.18   47.61   108.25  63.86   C 
3  Ben   2803.04  5766.04   927.69  228.41  65.51   49.94   106.02  62.61   L 
4  Ron   2804.04  6782.89   863.88  223.79  63.68   47.69   101.95  61.83   L 
... ... ... ... ... ... ... ... ... ... ...

Итак, моя первая проблема решена здесь: Найти процентиль в pandas фрейме данных на основе групп

Используя:

df.groupby('Surface')['DEPTH'].quantile([.1, .9])

Я могу получить процентили [.1, .9] из DEPTH, сгруппированные по Surface, что мне и нужно:

Surface        
C           0.1    2800.24
            0.9    2801.84
L           0.1    3799.74
            0.9    3960.36
N           0.1    2818.24
            0.9    2972.86
P           0.1    3834.94
            0.9    4001.16
Q           0.1    3970.64
            0.9    3978.62
R           0.1    3946.14
            0.9    4115.96
S           0.1    3902.03
            0.9    4073.26
T           0.1    3858.14
            0.9    4029.96
U           0.1    3583.01
            0.9    3843.76
V           0.1    3286.01
            0.9    3551.06
Y           0.1    2917.00
            0.9    3135.86
X           0.1    3100.01
            0.9    3345.76
Z           0.1    4128.56
            0.9    4132.56
Name: DEPTH, dtype: float64

Теперь я считаю, что была уже самая сложная часть. Осталось поднастроить исходный df для включения только значений между этими DEPTH процентилями .1 & .9. Так, например: DEPTH значения в группе поверхностей "Z" должны быть больше 4128,56 и меньше 4132,56. Обратите внимание, что мне снова нужно df, а не df.groupby("Surface"): конечный df будет точно таким же, но строки, глубина которых выходит за границы, должны быть отброшены.

Это кажется таким простым ... . Любые идеи? Спасибо!

Answer 1

Когда вам нужно отфильтровать строки в группах, часто проще и быстрее использовать groupby + transform, чтобы транслировать результат на каждую строку в группе, а затем фильтровать исходный DataFrame. В этом случае мы можем проверить, находится ли 'DEPTH' между этими двумя квантилями.

Пример данных

import pandas as pd
import numpy as np
np.random.seed(42)

df = pd.DataFrame({'DEPTH': np.random.normal(0,1,100), 
                   'Surface': np.random.choice(list('abcde'), 100)})

Код

gp = df.groupby('Surface')['DEPTH']

df1 = df[df['DEPTH'].between(gp.transform('quantile', 0.1),
                             gp.transform('quantile', 0.9))]

---

Для ясности здесь вы можете видеть, что transform будет транслировать скалярный результат на каждую строку, принадлежащую группе, в этом случае определенную как 'Surface'

pd.concat([df['Surface'], gp.transform('quantile', 0.1).rename('q = 0.1')], axis=1)

#   Surface   q = 0.1
#0        a -1.164557
#1        e -0.967809
#2        a -1.164557
#3        c -1.426986
#4        b -1.544816
#..     ...       ...
#95       a -1.164557
#96       e -0.967809
#97       b -1.544816
#98       b -1.544816
#99       b -1.544816
# 
#[100 rows x 2 columns]