4-слойная нейронная сеть, использующая функцию активации relu, не работает хорошо - PullRequest
Новая
       2

4-слойная нейронная сеть, использующая функцию активации relu, не работает хорошо

0 голосов
/ 18 апреля 2019

Я пытался создать 4-слойную нейронную сеть, используя функцию активации relu

Но это не работает хорошо ...

Я думаю, проблема в части обратного распространения.

потому что остальная часть кода работает хорошо, когда я использовал функцию активации сигмоида

Я исправил только часть обратного распространения

, чтобы вы могли научить меня, что не так с моим кодом

Предстоящий код является частью моего класса нейронной сети

Кроме того, я не хочу использовать какие-либо рамки для глубокого обучения Извините ..! 

    # train the neural network
def train(self, inputs_list, targets_list):
    # convert inputs list to 2d array
    inputs = numpy.array(inputs_list, ndmin=2).T
    targets = numpy.array(targets_list, ndmin=2).T

    # calculate signals into hidden layer
    hidden_inputs = numpy.dot(self.wih, inputs)
    # calculate the signals emerging from hidden layer
    hidden_outputs = self.activation_function(hidden_inputs)

    # calculate signals into hidden layer
    hidden_inputs2 = numpy.dot(self.wh1h2, hidden_outputs)
    # calculate the signals emerging from hidden layer
    hidden_outputs2 = self.activation_function(hidden_inputs2)

    # calculate signals into final output layer
    final_inputs = numpy.dot(self.wh2o, hidden_outputs2)
    # calculate the signals emerging from final output layer
    final_outputs = self.activation_function(final_inputs)

    # output layer error is the (target - actual)
    output_errors = targets - final_outputs
    # hidden layer error is the output_errors, split by weights, recombined at hidden nodes
    hidden_errors2 = numpy.dot(self.wh2o.T, output_errors) 
    # hidden layer error is the output_errors, split by weights, recombined at hidden nodes
    hidden_errors = numpy.dot(self.wh1h2.T, hidden_errors2)

    #Back propagation part
    # update the weights for the links between the hidden and output layers
    # self.wh2o += self.lr * numpy.dot((output_errors * final_outputs * (1.0 - final_outputs)), numpy.transpose(hidden_outputs2))
    self.wh2o += self.lr * numpy.dot((output_errors * numpy.heaviside(final_inputs,0.0) ), numpy.transpose(hidden_outputs2))

    # update the weights for the links between the input and hidden layers
    self.wh1h2 += self.lr * numpy.dot((hidden_errors2 * numpy.heaviside(hidden_inputs2, 0.0) ), numpy.transpose(hidden_outputs))

    # update the weights for the links between the input and hidden layers
    self.wih += self.lr * numpy.dot((hidden_errors * numpy.heaviside(hidden_inputs, 0.0) ), numpy.transpose(inputs))



    pass

wh2o означает вес, который распространяетсяСекодировать скрытый слой на выходной слой

wh1h2 означает вес, который распространяет первый скрытый слой на второй слой

, который означает вес, который распространяет входной слой на скрытый слой

1 Ответ

0 голосов
/ 18 апреля 2019

не глядя на специфику вашего кода;Популярность Relu в основном связана с его успехом в CNN.Для таких небольших проблем регрессии, это довольно ужасный выбор, поскольку он действительно выдвигает проблему исчезающего градиента на первый план;что по сложным причинам не является большой проблемой в больших проблемах CNN.Существуют различные способы сделать вашу архитектуру более устойчивой к исчезновению градиентов;но не использование relu было бы моим первым предложением (maxout - ваш лучший друг, исчезающие градиенты - постоянная проблема).Нижняя линия;вполне возможно, что это не имеет ничего общего с проблемой в вашем коде, но может быть чисто архитектурной.

...