Как установить параметр «альфа» в слое активации («elu»)

Question

Я пытаюсь использовать слой активации в Keras с функцией активации ELU и определенным значением параметра alpha.

Я хотел бы использовать стандартный слой активации Activation('elu').

Параметр alpha определен для функции активации elu() в keras / activations.py .Он имеет значение по умолчанию alpha=1.0.

Как передать другое значение alpha слою Activation('elu')?

Настройка

Activation('elu').activation.__defaults__ = (val,)

представляется одним из способов изменения значения по умолчанию, но я не знаю, является ли это разумным или действительно имеет желаемый эффект привсе.

Я ищу решение, которое не включает лямбда-функцию.

NB Я знаю, что существует слой ELU() («расширенная функция активации»), где я могу установить значениеиз alpha напрямую: ELU(alpha=val), однако я хотел бы знать, как установить параметр alpha для слоя Activation('elu').

Я использую Python 2.7 и Keras 2.0.5.

Answer 1

Вы можете сделать это с помощью лямбда-функции:

from keras.activations import elu

custom_elu = lambda x: elu(x, alpha=0.4)

Затем добавьте Activation(custom_elu) к вашей модели.

Answer 2

Вы можете вызвать функцию активации вне вашей модели, а затем добавить ее следующим образом:

import keras

elu_activation = keras.activations.elu(x, alpha=0.9)


model = Sequential()
...
model.add(Dense(32 , activation=elu_activation))
...

Здесь - это ссылка на документ