Градиентный спуск без производной

Question

Итак, я пытаюсь понять Gradient Descent, и я в замешательстве.Если у вас есть парабола, которая теряет при изменении веса.Вместо того, чтобы брать производную в точке x, в которой мы находимся, почему бы просто не найти вершину параболы?

Answer 1

Можно. Если ваша функция потерь на самом деле является параболой (или другой удобно выпуклой функцией), вы можете это сделать. Но, скорее всего, ваша функция потерь невыпуклая и сверхсложная, и вы априори не знаете, что это такое. Таким образом, мы используем градиентный спуск, как мы делаем - мы постоянно пробуем. Когда вы видите удобные параболы, это просто упрощенная иллюстрация.