Как получить правильное смещение в оптимизации Адама? - PullRequest
0 голосов
/ 26 января 2020

Я изучаю Адам Оптимизация. Я знаю, что шаг исправления смещения состоит в том, чтобы удалить смещение из первого и второго моментов, потому что оптимизатор смещен в сторону нуля из-за нашей нулевой инициализации. Но способ получения этой формулы не очень очевиден для меня. У кого-нибудь есть хороший способ вывести формулу?

...