Какова начальная скорость обучения по умолчанию в нейронной сети для rprop в r? - PullRequest
0 голосов
/ 04 декабря 2018

Какова начальная скорость обучения по умолчанию в нейронной сети, если я выберу rprop в качестве алгоритма в r?

1 Ответ

0 голосов
/ 05 декабря 2018

Алгоритм rprop, реализованный в neuralnet, по-видимому, использует те же значения по умолчанию, что и из paper на Rprop.(См. neuralnet:::varify.variables для получения более подробной информации.) В разделе C в документе,

Когда обучение начинается, все значения обновления устанавливаются в начальное значение delta_0.Поскольку delta_0 напрямую определяет размер первого шага веса, его следует выбирать в соответствии с начальными значениями самих весов, например delta_0 = 0,1 (настройка по умолчанию).Выбор этого значения довольно некритичен, поскольку он адаптируется по мере обучения.

Кроме того, из внутренней функции neuralnet:::rprop, которая использует алгоритм Rprop, мы видим строку

learningrate <- as.vector(matrix(0.1, nrow = 1, ncol = length.unlist))

Таким образом, скорость обучения по умолчанию с использованием rprop равна 0,1.

...