Пакетная нормализация скользящего среднего и инициализация параметров скользящей дисперсии - PullRequest
0 голосов
/ 12 марта 2019

Нормализация партии имеет 4 параметра: бета, гамма, скользящее среднее и скользящая дисперсия. Я пытаюсь настроить модель, предварительно обученную в ImageNet, где представлены 4 параметра. Интересно, имеет ли смысл инициализировать мою новую модель с помощью скользящего среднего и скользящей дисперсии предварительно обученной модели, поскольку, как я понимаю, эти два параметра не изучены, а скорее вычислены из карт объектов. Как это улучшит процесс обучения моей новой модели?

...