Тщательно ли изучено влияние импульса на Стохастический градиентный спуск? - PullRequest
0 голосов
/ 19 декабря 2018

Многие бумаги CNN используют импульс = 0,9 при использовании Stochastic Gradient Descent в обновлении веса.Есть хорошая логика для его использования, но я ищу тщательное исследование эффектов этого параметра.Я искал во многих статьях, и кое-где есть некоторые идеи, но я не смог провести комплексное исследование.Кроме того, зависит ли его полезность от различных задач компьютерного зрения, таких как классификация, сегментация, обнаружение?

1 Ответ

0 голосов
/ 18 мая 2019

Вот хороший обзорный документ по этой теме «Лесли Н. Смит *« 1001 ** 1002 »« Дисциплинированный подход к гиперпараметрам нейронной сети: часть 1 - скорость обучения, размер партии, импульс и снижение веса »*.

...