Гауссовский процесс регрессионных оценок доверительных интервалов - PullRequest
Новая
       104

Гауссовский процесс регрессионных оценок доверительных интервалов

0 голосов
/ 02 марта 2019

Это может быть странный вопрос, но когда регрессии гауссовского процесса видят кучу зашумленных данных без особого сигнала, что они делают?Ниже я беру кучу зашумленных данных и запускаю две разные реализации GPR, и они обе дают очень маленькие доверительные интервалы.Есть ли веская причина, почему это так?Моя интуиция говорит мне, что доверительные интервалы должны быть больше.Действительно ли GPR настолько уверены в своей оценке среднего значения?Кроме того, существует ли подходящий способ дополнить оценки дисперсии помимо добавления ядра с белым шумом?

import numpy as np
import gpflow as gpflow
from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import DotProduct, WhiteKernel, Matern, RBF

## some data
X1 = np.array([ 2.,  2.,  3.,  4.,  5.,  5.,  5.,  6.,  6.,  6.,  7.,  7.,  7.,
        8.,  8.,  8.,  8.,  8.,  9.,  9.,  9.,  9., 10., 11., 11., 12.,
       12., 12., 13., 13., 14., 14., 15., 15., 15., 16.])

Y1  = np.array([-0.70007257, -0.69388464, -0.63062014, -0.72834303, -0.67526754,
        1.00259286, -0.96141351, -0.08295884,  1.0727982 , -2.29816347,
       -0.61594418,  1.13696593, -2.18716473, -0.35037363,  1.96273672,
        1.31621059, -1.88566144,  1.80466116, -0.79665828,  2.40720146,
        1.83116473, -1.67224082, -0.96766061, -0.67430408,  1.79624005,
       -1.41192248,  1.01754167,  0.37327703, -1.1195072 ,  0.71855107,
       -1.16906878,  0.99336417,  1.12563488, -0.36836713,  0.12574823,
        0.23294988])

## gpflow
model = gpflow.models.GPR(X=X1[:,None],
                         Y= Y1[:,None], kern=gpflow.kernels.RBF(1))

gpflow.train.ScipyOptimizer().minimize(model)

## scikit
kernel = RBF()
gpr = GaussianProcessRegressor(kernel=kernel,
        random_state=0).fit(X= X1[:,None], y= Y1[:, None])

# plot function
def plot(m,  gpflow =True):
    plt.figure(figsize=(8, 4))
    xtest = np.linspace(np.min(X1),np.max(X1), 20)[:,None]
    line, = plt.plot(X1, Y1, 'x', mew=2)

    if gpflow:
        mu, var = m.predict_f(np.hstack((xtest, np.zeros_like(xtest))))

        plt.plot(xtest, mu, color="green", lw=2, label="GPflow")
        plt.fill_between(xtest[:, 0], 
                         (mu - 2*np.sqrt(var))[:, 0], 
                         (mu + 2*np.sqrt(var))[:, 0], 
                         color="lightgreen", alpha=0.4)
    else:   
        mu, se = m.predict(xtest, return_std=True)

        plt.plot(xtest, mu, color="red", lw=2, label="Scipy")
        plt.fill_between(xtest[:, 0], 
                         (mu - 2*se)[:, 0], 
                         (mu + 2*se)[:, 0], 
                         color="red", alpha=0.4)


    plt.legend()

Gpflow estimates

[Scipy estimates[2]

1 Ответ

0 голосов
/ 28 марта 2019

Часто полезно посмотреть на фактические оптимизированные значения гиперпараметров вашей модели - в этом случае дисперсия шума, дисперсия ядра и шкала длины ядра: 

                             class           ...                             value
GPR/kern/lengthscales    Parameter           ...                3.7149993613788737
GPR/kern/variance        Parameter           ...            2.0572871322469534e-06
GPR/likelihood/variance  Parameter           ...                1.5461369937869296

Таким образом, ГП объясняет все как шум (в этомслучай, фактическое значение шкал длины довольно произвольно, и это крошечная дисперсия ядра, которая важна).(Если вы используете предикат_y вместо предиката_f, вы должны получить доверительный интервал, охватывающий большинство наблюдений.) «RBF» (я предпочитаю квадрат экспоненциальный - каждое стационарное ядро ​​описывает радиальные базисные функции ...) ядро ​​делает очень строгие предположения относительно гладкостифункции в ваших предыдущих (а также это использует только максимальные оценки вероятности точки для гиперпараметров), и поэтому в этом смысле не так много гибкости - и как только вы объяснили все данные, GP в некотором смысле «говорит»что нет сигнала, поэтому вы получаете предварительный ответ - который имеет нулевое среднее значение.Это немного помогает?

...