Question

Я недавно использовал тензорную доску для анализа производительности изменений модели и не смог полностью обдумать изменение активаций и значений гистограммы на графике. Было бы очень полезно, если бы кто-то мог помочь мне понять это подробно.

Мой набор данных сильно несбалансирован, и я использую функцию взвешенных потерь. (99,95% ~ 0 / 0,05% ~ 1)

Журнал изменений -

case 1:

tf.estimator.DNNClassifier (предварительно запеченная оценка) с оптимизатором FTRL с lr как 0,01 и примененной пакетной нормализацией

вариант 2:

tf.estimator.DNNClassifier (предварительно запеченный оценщик) с оптимизатором Адама с показателем экспоненциального затухания и примененной экспансией batch_normalization, определенной как указано ниже -

       learning_rate=tf.train.exponential_decay(
            learning_rate=0.1,
            global_step=tf.train.get_global_step(),
            decay_steps=10000,
            decay_rate=0.96)),

Вариант 1: распределения