Может ли ReLU заменить функцию активации сигмоида в нейронной сети? - PullRequest
Новая
       84

Может ли ReLU заменить функцию активации сигмоида в нейронной сети?

0 голосов
/ 12 ноября 2018

Я новичок в этом и пытаюсь заменить функцию активации сигмоида в следующем простом NN на ReLU.Могу ли я сделать это?Я попытался заменить сигмовидную функцию, но она не работает.Выход должен быть логическим элементом И (если вход (0,0) -> выход 0).

import numpy as np

 # sigmoid function
def nonlin(x, deriv=False):
   if(deriv == True):
       return x*(1-x)
   return 1/(1+np.exp(-x))

# input dataset
X = np.array([[0, 0],
          [0, 1],
          [1, 0],
          [1, 1]])

# output dataset            
y = np.array([[0, 0, 0, 1]]).T

# seed random numbers to make calculation
# deterministic (just a good practice)
np.random.seed(1)

# initialize weights randomly with mean 0
syn0 = 2*np.random.random((2, 1)) - 1

for iter in xrange(10000):

    # forward propagation
    l0 = X
    l1 = nonlin(np.dot(l0,syn0))

    # how much did we miss?
    l1_error = y - l1

    l1_delta = l1_error * nonlin(l1, True)

    syn0 += np.dot(l0.T,l1_delta)
...