Как работает `tf.keras.layers.ActivityRegularization` и как правильно его использовать? - PullRequest
Новая
       6

Как работает `tf.keras.layers.ActivityRegularization` и как правильно его использовать?

0 голосов
/ 31 мая 2018

В обучении глубокой нейронной сети, как tf.keras.layers.ActivityRegularization может использоваться для регуляризации вывода?

В моем коде output имеют очень большое значение.Поэтому я попытался упорядочить это.Поэтому для своих последних плотных слоев я попытался: 

output = tf.layers.dense(inputs=dropout_dense1,
                        units=NUM_OUTPUTS,
                        kernel_initializer=tf.truncated_normal_initializer,
                        activity_regularizer = tf.keras.layers.ActivityRegularization())

Но никакого эффекта регуляризации в output (все еще очень большого) не наблюдается.Я пробовал все виды комбинации параметров (по умолчанию tf.keras.layers.ActivityRegularization(L1=0, L2=0)), но, похоже, это не имеет никакого эффекта.

...