Линейная регрессия с использованием нейронной сети - PullRequest
Новая
       65

Линейная регрессия с использованием нейронной сети

0 голосов
/ 23 октября 2018

Я работаю над проблемой регрессии со следующими образцами обучающих данных.

enter image description here

Как показано, у меня есть вход только 4 параметра только содин из них изменяется, то есть Z, так что остальные не имеют реального значения, в то время как выход из 124 параметров, обозначенных от O1 до O124, отмечает, что O1 изменяется с постоянной скоростью 20 [1000, затем 1020, затем 1040 ...], в то время как O2 изменяется сдругая скорость, равная 30, но все еще постоянная и одинаковая для всех 124 выходов, все изменяется линейно с постоянной скоростью.

Я полагал, что это тривиальная проблема, и очень простая модель нейронной сети достигнет точности 100%по данным тестирования, но результаты были противоположными.

  • Я достиг 100% точности теста с использованием линейного регрессора и 99,99999% точности теста с использованием регрессора KNN
  • Я достиг 41% точности данных тестав 10-уровневой нейронной сети с использованием активации Relu, в то время как все остальные функции активации не сработали, а также неглубокий Relu.
  • Используя простую нейронную сеть с функцией линейной активации и без скрытых слоев, я набрал 92% на тестовых данных

Мой вопрос: как получить нейронную сеть, чтобы получить 100%на тестовых данных, таких как линейный регрессор?Предполагается, что использование мелкой сети с линейной активацией эквивалентно линейному регрессору, но результаты разные, я что-то упустил?

1 Ответ

0 голосов
/ 24 октября 2018

Если вы используете линейную активацию, глубокая модель в принципе такая же, как линейная регрессия / NN с 1 слоем.Например, для глубокого NN с линейной активацией прогноз задается как y = W_3 (W_2 (W_1 x))), который можно переписать как y = (W_3 (W_2 W_1)) x, что совпадает с y = (W_4 x), который является линейной регрессией.

Учитывая, что проверьте, сходится ли ваш NN без скрытого слоя к тем же параметрам, что и ваша линейная регрессия.Если это не так, то ваша реализация, вероятно, неверна.Если это так, то ваша большая NN, вероятно, сходится к какому-то решению проблемы, где точность теста просто хуже.Попробуйте разные случайные семена.

...