Будет ли градиентный спуск застревать в точке без минимума?Как мы можем доказать его правильность?

Question

Для примера с фиксатором, пусть наша функция стоимости будет J (x, y) = x * y, и мы в настоящее время находимся в точке (0,0)

Тогда вектор градиента будет (0,0),Это означает, что мы не будем двигаться ни к какой другой точке с помощью алгоритма градиентного спуска.

Для более позднего вопроса, давайте рассмотрим другой пример: производная по x функции F (x, y) (назовем ее Fx (x, y)) отрицательна, а производная по y функции F (x, y) (назовем это Fy (x, y)) также отрицательна.Затем то, что мы будем делать с градиентным спуском, будет двигаться по вектору alpha * (Fx (x, y), Fy (x, y)).Как мы можем гарантировать, что F (x + alpha * Fx (x, y), y + alpha * Fy (x, y))

Answer 1

Существует нет гарантии для алгоритмов градиентного спуска, чтобы найти глобальный минимум или даже локальный минимум.Да, алгоритм будет зависать на (0,0), как вы описали.Однако, скорее всего, вы никогда не будете точно при (0,0).Также есть много методов, которые предотвращают это.