Искусственные Нейронные Сети | Какая функция потерь используется для оптимизации модели?

Question

У меня есть пример кода с GitHub. Ссылка здесь: пример кода github

Мой вопрос: «Какая функция потерь используется для оптимизации модели?»

Adam Optimizer или CrossEntropyLoss

Чем они отличаются?

Answer 1

Функция потерь определяет, насколько хороша модель. Это делается путем сравнения прогнозов и фактических. CrossEntropyLoss обычно используется для задачи классификации.

После определения потери. Тренировать модель нейронной сети. нам нужно обновить вес модели.

Это делается путем расчета градиентов с использованием рассчитанных потерь. Где каждый оптимизатор определяет, как потери должны быть перемещены внутри модели. где Adam является одним из популярных оптимизаторов. Он основан на импульсе и RMSprop.