Какой тип градиента достойного используется в пакете нейронной сети R?

Question

Насколько я понимаю, существуют разные типы градиентно-приличных методов для обновления весов нейронной сети.

Например, в стохастическом градиентном прилично весы обновляются после оценки ошибки для каждогопример набора обучающих данных.

С другой стороны, приличный градиент пакета оценивает ошибку пакета обучающих примеров (более одного) для обновления весов.

Кто-нибудь знаеткакой метод реализован в пакете нейронной сети R?Если это приличный градиент партии, каков размер партии?И как я могу это контролировать?

Спасибо

Answer 1

neuralnet по умолчанию использует алгоритм под названием resilient backpropagation , который является очень специальным алгоритмом градиентного спуска, потому что используется только знак, а не величина градиента.В качестве альтернативы обратное распространение может использоваться при указании параметра algorithm.

В любом случае, я считаю, что оптимизация не пакетная, или, по крайней мере, не то, что вы контролируете.