Функция активации ReLU с пакетом нейронной сети в R

Question

Из-за того, что в пакете нейронной сети нет функции ReLU, я пытаюсь написать код для функции ReLU. Но есть ошибка, которую я не понимаю. Пожалуйста, смотрите мой код и информацию об ошибке ниже.

relu<-function(x){ifelse(x>=0,x,0)}
nn <- neuralnet(y~a+b+c+d+e+f,data=train,hidden=c(5),linear.output=T,act.fct = relu)

Ошибка в производной форме (eval (parse (text = text)), "x", func = eval (parse (text = text2)),: Функция 'ifelse' отсутствует в таблице производных

Answer 1

ReLU можно найти в пакете сигмоида. Для добавления функции активации должна использоваться дифференциальная функция.

Вот пара простых реализаций ReLU

relu <- function(x) {x * (x>=0)}
relu <- function(x) {max(0,x)}