Есть ли причина не всегда использовать leaky_relu

Question

Мне кажется, что активация Relu часто бывает чрезвычайно эффективной. А утечка relu решает ее главный недостаток (умирающие блоки).

Так, за исключением выходных слоев, требующих tanh, soft max или sigmoid. Есть ли причина, по которой я не хотел бы использовать дырявое реле? (Я знаю, что relu в вычислительном отношении быстрее, чем дырявый relu, но на лучшую модель стоит потратить немного больше времени)

Answer 1

Для большинства приложений подойдёт leaky_relu, но есть допустимые альтернативы. Имейте в виду, что даже у leaky_relu есть свои недостатки, например, необходимость настройки нового параметра alpha.

Эта статья объясняет различные альтернативы стандартному ReLU и дает плюсы и минусы для каждого из них. :