Чтобы визуализировать тренировку в Tensorboard, добавьте keras.callbacks.TensorBoard обратный вызов к функции model.fit.Не забудьте установить write_grads=True, чтобы увидеть там градиенты.Сразу после начала тренировки вы можете запустить ...
tensorboard --logdir=/full_path_to_your_logs
... из командной строки и указать вашему браузеру htttp://localhost:6006.См. Пример кода в этот вопрос .
Чтобы проверить исчезающие / взрывающиеся градиенты, обратите внимание на распределение градиентов и абсолютные значения в интересующем слое (вкладка «Распределения»):
- Если распределение сильно достигло максимума и сконцентрировано около 0, градиенты, вероятно, исчезают.Вот конкретный пример как это выглядит на практике.
- Если распределение быстро растет в абсолютном значении со временем, градиенты взрываются.Часто выходные значения на том же слое тоже очень быстро становятся
NaN s.