Оптимизатор Адама и градиентный спуск

Question

Я пытаюсь понять, в чем разница между этими Adam Optimizer и Gradient Descent Optimizer и какой из них лучше всего использовать в какой ситуации.Я заглядываю на сайт TF, но если вы знаете место, где они объясняются лучше и проще для понимания, дайте мне знать?

Answer 1

AdamOptimizer использует Adam Optimizer для обновления скорости обучения. Это адаптивный метод по сравнению с градиентным спуском, который поддерживает единую скорость обучения для всех обновлений веса, и скорость обучения не меняется.

Адам имеет преимущество перед GradientDescent в использовании скользящего среднего (импульса) градиентов (среднего), а также скользящего среднего квадрата градиента.

Нет такой вещи, какую из них лучше использовать, все зависит от вашей проблемы, сети и данных. Но в целом Адам зарекомендовал себя как лидер и является одним из наиболее часто используемых в задачах DL, поскольку он достигает лучших результатов и показателей точности.