У меня есть два «подвопроса»
1) Как я могу обнаружить исчезающие или взрывающиеся градиенты с помощью Tensorboard, учитывая тот факт, что в настоящее время write_grads=True устарело в Tensorboard callback согласно "un-deprecate write_grads for fit # 31173" ?
2) Я подумал, что, вероятно, могу сказать, страдает ли моя модель исчезающими градиентами на основе распределений весов и гистограмм в распределениях и вкладка Гистограммы в Tensorboard. Моя проблема в том, что у меня нет системы отсчета для сравнения. В настоящее время мои смещения кажутся «движущимися», но я не могу сказать, достаточно ли «движутся» / «меняются» веса моего ядра (слои Conv2D). Может ли кто-нибудь помочь мне, предоставив эмпирическое правило для визуальной оценки этого в Tensorboard? Т.е. если движутся только нижние 25% процентили веса ядра, это достаточно хорошо / недостаточно хорошо? Или, может быть, кто-то может опубликовать два эталонных изображения из тензорной доски исчезающих градиентов по сравнению с неисчезающими градиентами.
Вот мои гистограммы и распределения, можно ли определить, страдает ли моя модель от исчезающих градиентов? (некоторые слои опущены для краткости) Заранее спасибо.
