Почему ReLU следует использовать только в скрытых слоях?

Question

On этот пост Я читал, что ReLU следует использовать только в скрытых слоях.Почему это так?

У меня есть нейронная сеть с задачей регрессии.Он выводит число от 0 до 10. Я подумал, что ReLU будет хорошим выбором, так как он не возвращает числа, меньшие 0. Какая будет лучшая функция активации для выходного слоя здесь?

Answer 1

Как правило, вы все еще можете использовать функции активации для выходного слоя.Я часто использовал функции активации Sigmoid, чтобы подавить вывод в диапазоне 0-1, и это работало замечательно.

Одна из причин, которую вы должны учитывать при использовании ReLU, заключается в том, что они могут производить мертвые нейроны.Это означает, что при определенных обстоятельствах ваша сеть может создавать регионы, в которых сеть не будет обновляться, и выходные данные всегда равны 0.По сути, если у вас есть ReLU на выходе, у вас вообще не будет градиента, см. здесь для более подробной информации.

Если вы осторожны во время инициализации, я не понимаю, почемуне должен работать, хотя.