Построение доверительного интервала вокруг предсказанного линейного графика

Question

Я пытаюсь построить доверительные интервалы вокруг линейного графика, примерно так: https://scikit-learn.org/0.17/_images/plot_gp_regression_001.png

Я подбираю гауссовский процесс, и при прогнозировании значений для каждого он возвращает среднее и стандартное отклонение. Используя это, я смогу построить различные диапазоны доверительного интервала. В моем случае я пытаюсь иметь диапазоны для 10%, 20%, ... 90%.

В настоящее время я делаю что-то вроде этого

y_pred, std = reg.predict(x, return_std=True)

std_z = 1.96 # from z-table for 95%
confidence_interval = std * std_z

plt.plot(x, y_pred)    
plt.fill_between(x, y_pred - confidence_interval, y_pred + confidence_interval)

Это работает. Согласно z-таблице (http://www.z-table.com/uploads/2/1/7/9/21795380/8573955.png?759) вы можете видеть, что значение z составляет 1,96 для 95%. Однако возьмем для примера 25% и 75%. Значения z для них будут - и + 0,67 соответственно, которые будут просто перекрываться в доверительном интервале при построении. Мне это кажется интуитивно неверным. Я ожидал, что полосы будут сужаться для более низких диапазонов достоверности, а расширяющиеся - для увеличения, верно?

Любая помощь будет принята с благодарностью.

Answer 1

Неправильно. Проценты, связанные с доверительными интервалами (95%, 75%, 25% в ваших примерах), представляют собой вероятности покрытия. Это вероятность того, что истинное значение количества, которое вы оцениваете (в данном случае прогнозируемое значение), находится в пределах CI. Учитывая, что CI, о которых вы говорите, являются центральными доверительными интервалами (то есть они сосредоточены на прогнозируемое значение), понятно, что для большей уверенности вам потребуется более широкий интервал. Это именно то, что вы видите. Если бы более узкий доверительный интервал имел более высокую вероятность охвата, чем более широкий, то это означало бы, что существует область, с которой каким-то образом связана отрицательная вероятность охвата. Вероятности не могут быть отрицательными, поэтому это невозможно.