Как я могу предсказать ожидаемое значение и дисперсию одновременно с нейронной сетью?

Question

Я хотел бы использовать нейронную сеть, чтобы предсказать скалярное значение, которое является суммой функции входных значений и случайного значения (я предполагаю гауссово распределение), дисперсия которого также зависит от входных значений. Теперь я хотел бы иметь нейронную сеть с двумя выходами - первый выход должен аппроксимировать детерминированную часть - функцию, а второй выход должен аппроксимировать дисперсию случайной части в зависимости от входных значений. Какая функция потери мне нужна для обучения такой сети?

(Было бы неплохо, если бы был пример с Python для Tensorflow, но меня также интересуют общие ответы. Мне также не совсем понятно, как можно написать что-то похожее на код Python - ни один из примеров, которые я пока нашел покажи как обращаться к отдельным выходам из функции потерь.)

Answer 1

Вы можете использовать выпадение для этого. С выпадающим слоем вы можете сделать несколько разных прогнозов, основанных на разных настройках того, какие узлы выпали. Затем вы можете просто посчитать результаты и интерпретировать результат как показатель неопределенности.

Подробнее см .:

Гал, Ярин и Зубин Гахрамани. « Отброс как байесовское приближение: представление модели неопределенности в глубоком обучении ». международная конференция по машинному обучению. 2016