Весовая инициализация в нейронных сетях - PullRequest
Новая
       6

Весовая инициализация в нейронных сетях

1 голос
/ 11 октября 2019

Привет! Я разрабатываю модель нейронной сети с использованием keras.

code 


def base_model():
    # Initialising the ANN
    regressor = Sequential()   
    # Adding the input layer and the first hidden layer
    regressor.add(Dense(units = 4, kernel_initializer = 'he_normal', activation = 'relu', input_dim = 7))   
    # Adding the second hidden layer
    regressor.add(Dense(units = 2, kernel_initializer = 'he_normal', activation = 'relu'))   
    # Adding the output layer
    regressor.add(Dense(units = 1, kernel_initializer = 'he_normal'))
    # Compiling the ANN
    regressor.compile(optimizer = 'adam', loss = 'mse', metrics = ['mae'])
    return regressor

Я читал о том, какой kernel_initializer использовать, и наткнулся на ссылку - https://towardsdatascience.com/hyper-parameters-in-action-part-ii-weight-initializers-35aee1a28404

это говорит о Глороте, и он инициализируется. Я пробовал с разными применениями для весов, но все они дают одинаковые результаты. Я хочу понять, насколько важна правильная инициализация?

Спасибо

...