В чем разница между градиентным спуском и сеточным поиском в машинном обучении?

Question

При настройке гиперпараметра используются две техники, такие как Поиск по сетке или Случайный поиск. Градиентный спуск в основном используется для минимизации функции потерь.

Здесь задается вопрос, когда мы будем использовать Grid Search и Gradient Descent.

Answer 1

• Градиентный спуск используется для оптимизации модели, то есть ее веса и смещения для минимизации потерь.Он пытается достичь минимумов функции потерь и в достаточной степени обобщить их модель.Оптимизирует модель на основе заданных ей гиперпараметров.Например, скорость обучения используется как

  W = W - (learning_rate * градиент)

Здесь гиперпараметр скорости обучения влияет на W, которые являются весами.

• Для выбора лучшего значения гиперпараметра используются алгоритмы GridSearch и RandomSearch.Гиперпараметры постоянны во время обучения, но их необходимо точно настроить, чтобы модель сходилась с чем-то хорошим.

Градиентный спуск оптимизирует модель на основе гиперпараметров.Принимая во внимание, что для точной настройки гиперпараметров используются GridSearch и RandomSearch.

Градиентный спуск используется для оптимизации модели (весов и смещений). Алгоритмы тонкой настройки алгоритмов настройки, которые влияют на градиентный спуск,За этим можно следовать.

1. Обучите модель по некоторым выбранным гиперпараметрам.
2. Оцените модель на предмет ее потерь и точности.
3. Выполните настройку гиперпараметрачтобы получить лучшие значения для гиперпараметров.
4. Обучите модель заново с обновленными гиперпараметрами.
5. Выполняйте эту процедуру, пока модель не достигнет значительной высокой точности и меньших потерь.