Пользовательская активация с параметром - PullRequest
Новая
       11

Пользовательская активация с параметром

0 голосов
/ 29 октября 2018

Я пытаюсь создать функцию активации в Keras, которая может принимать параметр beta, например, так: 

from keras import backend as K
from keras.utils.generic_utils import get_custom_objects
from keras.layers import Activation

class Swish(Activation):

    def __init__(self, activation, beta, **kwargs):
        super(Swish, self).__init__(activation, **kwargs)
        self.__name__ = 'swish'
        self.beta = beta


def swish(x):
    return (K.sigmoid(beta*x) * x)

get_custom_objects().update({'swish': Swish(swish, beta=1.)})

Работает нормально без параметра beta, но как я могу включить этот параметр в определение активации? Я также хочу, чтобы это значение было сохранено, когда я выполняю model.to_json(), как для активации ELU.

Обновление: Я написал следующий код на основе @ сегодняшнего ответа: 

from keras.layers import Layer
from keras import backend as K

class Swish(Layer):
    def __init__(self, beta, **kwargs):
        super(Swish, self).__init__(**kwargs)
        self.beta = K.cast_to_floatx(beta)
        self.__name__ = 'swish'

    def call(self, inputs):
        return K.sigmoid(self.beta * inputs) * inputs

    def get_config(self):
        config = {'beta': float(self.beta)}
        base_config = super(Swish, self).get_config()
        return dict(list(base_config.items()) + list(config.items()))

    def compute_output_shape(self, input_shape):
        return input_shape

from keras.utils.generic_utils import get_custom_objects
get_custom_objects().update({'swish': Swish(beta=1.)})
gnn = keras.models.load_model("Model.h5")
arch = gnn.to_json()
with open(directory + 'architecture.json', 'w') as arch_file:
    arch_file.write(arch)

Однако в настоящее время он не сохраняет значение beta в файле .json. Как я могу сделать это сохранить значение?

1 Ответ

0 голосов
/ 29 октября 2018

Поскольку вы хотите сохранить параметры функции активации при сериализации модели, я думаю, что лучше определить функцию активации как слой, подобный расширенным активациям , которые были определены в Keras . Вы можете сделать это так: 

from keras.layers import Layer
from keras import backend as K

class Swish(Layer):
    def __init__(self, beta, **kwargs):
        super(Swish, self).__init__(**kwargs)
        self.beta = K.cast_to_floatx(beta)

    def call(self, inputs):
        return K.sigmoid(self.beta * inputs) * inputs

    def get_config(self):
        config = {'beta': float(self.beta)}
        base_config = super(Swish, self).get_config()
        return dict(list(base_config.items()) + list(config.items()))

    def compute_output_shape(self, input_shape):
        return input_shape

Тогда вы можете использовать его так же, как вы используете слой Keras: 

# ...
model.add(Swish(beta=0.3))

Поскольку в его определении был реализован метод get_config(), параметр beta будет сохранен при использовании таких методов, как to_json() или save().

.
...