Вычислить выбросы с помощью Zscore

Question

Я хочу сохранить выбросы с помощью метода zcore в моем фрейме данных df1. Правильно ли я делаю то, что я делаю?

Код

df1= df[~(np.abs(df.col1-df.col1.mean()) <= (3*df.col1.std()))]

Answer 1

Вы также можете использовать pandas.eval и pandas.assign для лучшей читаемости:

import pandas as pd

df['outlier'] = df.assign(z_score = lambda x: (x.col1 - x.col1.mean())/x.col1.std()
              ).eval('z_score > 3')

Выбросы - это точки данных с z-оценкой выше , чем порог, поэтому, если вы хотите outlier столбец, чтобы сказать True для выбросов, используйте > вместо <=.

Answer 2

df1= df[~(np.abs(df['col1']-df['col1'].mean()) <= 3*df['col1'].std())]

Рабочий пример:

import numpy as np
import pandas as pd

df = pd.DataFrame({'col1':[1,1,1,1,1,1,1,1,1,1,1,1,1,1,10]})

df1= df[~(np.abs(df['col1']-df['col1'].mean()) <= 3*df['col1'].std())]