Adamoptimizer с Dropout это хорошо или плохо? - PullRequest
Новая
       41

Adamoptimizer с Dropout это хорошо или плохо?

0 голосов
/ 24 октября 2019

Адамоптимизатор с выпадением? Это хорошо или плохо? Я делаю CNN для распознавания изображений. Они сказали, что использование Adamoptimizer с отсевом - плохая идея. это правда? Почему?

Делановер сказал 

 def get_training_model():
    x, conv_layer, conv_vars = convolutional_layers()
    # dropout
    keep_rate = 0.8
    keep_prob = tf.placeholder(tf.float32)

    # fully connected layer -(densely connected layer)
    W_fc1 = weight_variable([32 * 8 * 128, 2048]) 
    b_fc1 = bias_variable([2048])             

    conv_layer_flat = tf.reshape(conv_layer, [-1, 32 * 8 * 128])
    # h_fc1 -Fully connected layer
    h_fc1 = tf.nn.relu(tf.matmul(conv_layer_flat, W_fc1) + b_fc1) 

    # Output layer
    W_fc2 = weight_variable([2048, 1 + 7 * len(common.CHARS)]) 
    b_fc2 = bias_variable([1 + 7 * len(common.CHARS)])          

    #dropout
    h_fc1 = tf.nn.dropout(h_fc1, keep_rate)

    #output
    y = tf.matmul(h_fc1, W_fc2) + b_fc2      # h_fc1 -Fully connected layer
                                             # W_fc2 -weights output layer
                                             # b_fc2 -biases output layer
                                             # y -output
    #output
    return (x, y, conv_vars + [W_fc1, b_fc1, W_fc2, b_fc2])
            # output to training.py

Адамоптимизатор с выпадением? Это хорошо или плохо? Я делаю CNN для распознавания изображений. Они сказали, что использование Adamoptimizer с отсевом - плохая идея. это правда? Почему?
Делановер сказал

...