Как прекратить использование весов в тензорной сети?

Question

Я использую простую двухслойную сеть, и вместо ее плотного соединения я хотел «убить» 70% соединений.

В моих исследованиях по этому вопросу мне сказали умножитьпеременная весов массивом нулей и единиц, но как я могу знать, что эти веса не будут обновляться, даже если они изначально были равны нулю?

Answer 1

Вы можете использовать tf.nn.dropout метод.

Выпадение случайным образом «сбрасывает» (или «убивает») соединение между узлами.

Скажем, вы хотите уничтожить 70% соединений.тогда вы можете сделать, как,

...
fc_0 = tf.nn.relu(tf.matmul(x, W_fc0) + b_fc0)
fc_0 = tf.nn.dropout(fc_0, keep_prob=0.3)
fc_1 = tf.nn.relu(tf.matmul(fc_0, W_fc1) + b_fc1)
fc_1 = tf.nn.dropout(fc_1, keep_prob=0.3)
...