MXNet-Caret Обучение и оптимизация

Question

Я использую библиотеку MXNet в RStudio для обучения модели нейронной сети.

При обучении модели с использованием каретки, я могу настроить (среди прочего) параметр «импульс».Связано ли это с оптимизатором Stochastic Gradient Descent?

Я знаю, что это оптимизатор по умолчанию при обучении с использованием "mx.model.FeedForward.create", но что происходит, когда я использую caret ::: train?

Answer 1

Momentum связан с SGD и управляет тем, насколько склонен ваш алгоритм к изменению направления спуска.Для этого есть несколько формул, подробнее об этом здесь: https://towardsdatascience.com/stochastic-gradient-descent-with-momentum-a84097641a5d

Пакет Caret предполагается общего назначения, поэтому он работает с MXNet.Когда вы звоните cret::train, он может принять method параметр.Его следует взять из репозитория пакета caret, который на данный момент поддерживает MXNet.Смотрите пример: https://github.com/topepo/caret/issues/887 от Адама или https://github.com/topepo/caret/blob/master/RegressionTests/Code/mxnet.R для обычного SGD.