ReLU заменил сигмоид в скрытых слоях, так как он дает лучшие результаты для приложений общего назначения, но это действительно зависит от вашего случая, и другие функции активации могут работать лучше. Leaky ReLU помогает с проблемой исчезающего градиента.
Я думаю, что основным недостатком Leaky ReLU является то, что у вас есть еще один параметр для настройки - наклон. Но я отмечаю, что в вашей проблеме действительно зависит, какая функция работает лучше.