Доказано, что рандомизированный ReLU, а также параметрический ReLU, работают лучше, чем ReLU в наборах данных CIFAR-10, CIFAR-100 и NDSB. В то время как Keras предоставил документацию по использованию PReLU, я не смог найти его для RReLU. Кто-нибудь может рассказать об использовании активации Randomized ReLU в Keras?
Ниже приведено описание RReLU из статьи arXiv: 1505.00853v2.
