Установка бета-распределения с использованием граната - PullRequest
Новая
       82

Установка бета-распределения с использованием граната

1 голос
/ 02 апреля 2019

Я пытаюсь приблизить распределение бета-версий, используя библиотеку гранат . Однако, когда я пытаюсь приблизить параметры из сгенерированных данных, я получаю очень разные параметры. Код для воспроизведения такой ошибки выглядит следующим образом 

import numpy as np
from pomegranate import * 

X = np.random.beta(1, 5, size=10000).reshape(-1, 1) # sample from beta distribution with alpha = 1, beta = 5
print(BetaDistribution.from_samples(X).parameters) # approximate beta parameters
>>> [0.0, 10000.0] # error here

Я не уверен, откуда возникла ошибка. Похоже, что тестовый файл test_distributions.py дает правильный ответ. Если есть какие-либо предложения о том, как исправить pomegranate или создать собственную модель в pomegranate, мы будем очень признательны.

Примечание Я использую Python 3.6.8

1 Ответ

0 голосов
/ 02 апреля 2019

Ответ в соответствии с этой проблемой , BetaDistribution, предоставленной в текущей библиотеке, является бета-биномиальным, а не бета-распространением. Вот почему модель не может соответствовать образцу бета-дистрибутива.

Обходной раствор

Я нашел решение, используя библиотеку BayesianOptimization. По сути, я пытаюсь максимизировать логарифмическую вероятность распространения по заданным данным, используя байесовскую библиотеку оптимизации. Следующий код довольно хорошо обобщает и смесь распределений. 

from bayes_opt import BayesianOptimization

data = np.random.beta(1, 5, size=10000) # create data

def beta_loss(a, b):
    beta_loss = BetaDistribution(a, b).probability(data)
    return np.log(beta_loss).sum()

optimizer = BayesianOptimization(
    f=beta_loss, 
    pbounds={'a': (0.5, 5), 
             'b': (0.5, 20)}, 
    random_state=10
)
# optimize the parameters
optimizer.maximize(
    init_points=5, 
    n_iter=100
)

# plot approximated distribution vs. distribution of the data
x = np.arange(0, 1, 0.01)
plt.hist(data, density=True, bins=100, alpha=0.1)
a, b = [v for k, v in optimizer.max['params'].items()]
plt.plot(x, BetaDistribution(a, b).probability(x))
plt.show()

fitted distribution

Extra (для смеси распределений)

Здесь я просто приведу пример того, как оптимизировать параметры смеси бета-распределения и гауссовского распределения: 

from bayes_opt import BayesianOptimization

# example data of beta/gaussian distribution
data = np.hstack((np.random.beta(1, 10, size=2000), 
                  np.random.randn(1000) * 0.2 + 0.6))
data = data[np.logical_and(data >= 0.0, data <= 1.0)]

def loss_bimodal(a, b, mu, sigma, w1):
    beta_loss = BetaDistribution(a, b).probability(data)
    norm_loss = NormalDistribution(mu, sigma).probability(data)
    return np.log(w1 * beta_loss + (1 - w1) * norm_loss).sum()

def pdf_bimodal(a, b, mu, sigma, w1, x=np.arange(0, 1, 0.01)):
    return w1 * BetaDistribution(a, b).probability(x) + \
        (1 - w1) * NormalDistribution(mu, sigma).probability(x)

optimizer = BayesianOptimization(
    f=loss_bimodal, 
    pbounds={'mu': (0., 1.), 
             'sigma': (0., 1.), 
             'a': (0.5, 5), 
             'b': (1, 25), 
             'w1': (0., 1.)},
    random_state=1
)
optimizer.maximize(
    init_points=5, 
    n_iter=100
)

Использование оптимизированных параметров для построения графика распределения следующим образом: 

a, b, mu, sigma, w1 = [v for k, v in optimizer.max['params'].items()]
x = np.arange(0, 1, 0.01)
plt.plot(x, pdf(a, b, mu, sigma, w1, x))
plt.hist(data, density=True, bins=100)
plt.show()

enter image description here

...