Вырезание выбросов в гистограмме (Python) - PullRequest
Новая
       41

Вырезание выбросов в гистограмме (Python)

0 голосов
/ 28 июня 2018

Я хотел бы знать, если есть метод, который показывает мне, как долго должна быть моя ось X. У меня есть запись с различными выбросами. Я могу просто вырезать их с помощью plt.xlim(), но есть ли статистический метод для вычисления разумного предела оси X? На добавленной картинке логичный разрез будет через 150 км пройденного расстояния. Для расчета порога резки идеально подойдет logical manual cut after 150 km

Фрейм данных, который получает определение, является стандартным фреймом данных pandas

Код: 

def yearly_distribution(dataframe):


    df_distr = dataframe  

    h=sorted(df_distr['Distance'])
    l=len(h)    

    fig, ax =plt.subplots(figsize=(16,9))

    binwidth = np.arange(0,501,0.5)

    n, bins, patches = plt.hist(h, bins=binwidth, normed=1, facecolor='#023d6b', alpha=0.5, histtype='bar')

    lnspc =np.arange(0,500.5,0.5)

    gevfit = gev.fit(h)  
    pdf_gev = gev.pdf(lnspc, *gevfit)  
    plt.plot(lnspc, pdf_gev, label="GEV")

    logfit = stats.lognorm.fit(h)  
    pdf_lognorm = stats.lognorm.pdf(lnspc, *logfit)  
    plt.plot(lnspc, pdf_lognorm, label="LogNormal")

    weibfit = stats.weibull_min.fit(h)  
    pdf_weib = stats.weibull_min.pdf(lnspc, *weibfit)  
    plt.plot(lnspc, pdf_weib, label="Weibull")

    burrfit = stats.burr.fit(h)  
    pdf_burr = stats.burr.pdf(lnspc, *burrfit)  
    plt.plot(lnspc, pdf_burr, label="Burr Distribution")

    genparetofit = stats.genpareto.fit(h)
    pdf_genpareto = stats.genpareto.pdf(lnspc, *genparetofit)
    plt.plot(lnspc, pdf_genpareto, label ="Generalized Pareto")

    myarray = np.array(h)

    clf = GMM(8,n_iter=500, random_state=3)
    myarray.shape = (myarray.shape[0],1)
    clf = clf.fit(myarray)
    lnspc.shape = (lnspc.shape[0],1)
    pdf_gmm = np.exp(clf.score(lnspc))
    plt.plot(lnspc, pdf_gmm, label = "GMM")

    plt.xlim(0,500)
    plt.xlabel('Distance')
    plt.ylabel('Probability')
    plt.title('Histogram')
    plt.ylim(0,0.05)

1 Ответ

0 голосов
/ 28 июня 2018

Вы должны удалить выбросы из ваших данных перед любым графиком или примеркой: 

h=sorted(df_distr['Distance'])

out_threshold= 150.0
h=[i for i in h if i<out_threshold]

EDIT это может быть не самый быстрый способ, но с numpy.std(): 

out_threshold= 2.0*np.std(h+[-a for a in h])
...