Мы используем DNN (с Keras и Tensorflow) для прогнозирования значения y на основе некоторых данных X, что работает довольно хорошо. Теперь мы хотели бы расширить это, чтобы не только предсказать значение y, но и его распределение в форме процентилей.
Пример: скажем, мы имеем дело с ценами на жилье. Конкретный реальный дом (с данными X’) в настоящее время продается за 1 миллион, поэтому y(X’) = 1 000 000, но мы знаем, что это высокая цена. По нашим оценкам, 90% всех сопоставимых домов (домов с одинаковыми X’) продаются дешевле, поэтому 90-й процентиль y(X’) составляет 1 миллион.
Как мы можем использовать наш набор данных (X,y) для обучения DNN, чтобы предсказать / оценить, что 90-й процентиль y(X') равен 1 миллиону?
В некотором смысле, такая сеть не только узнает, с какими значениями она может минимизировать функцию стоимости, но также и насколько велик шум при каком входе. В качестве другого примера, скажем, у нас есть определенная X', при которой цены на дома постоянны на уровне 100 000 $ (например, из-за какой-то государственной программы, которая строит тысячи совершенно одинаковых домов, которые продаются ровно за 100 000) , Я хочу, чтобы сеть не только узнала значение 100 000, но и чтобы это был очень точный прогноз.
Я думаю, что если бы мы могли предсказать стандартное отклонение, мы могли бы рассчитать разумное распределение в процентилях, поэтому, возможно, стандартного отклонения достаточно.