«ValueError: Неизвестный слой: ...» при вызове copy.deepcopy (network) с использованием Tensorflow

Question

В настоящее время я проектирую NoisyNet в Tensorflow, для которого мне нужно определить пользовательский слой. При копировании модели, содержащей этот пользовательский слой, python вызывает ошибку ValueError: Unknown layer: NoisyLayer. Реализация слоя предусмотрена здесь .

Цель состоит в том, чтобы скопировать одну сеть, создав ее второй экземпляр. Для этой цели я использую команду net_copy = copy.deepcopy(net_original), которая работает до тех пор, пока я не включаю пользовательский слой, упомянутый выше, в модель для копирования. Я видел, что для сохранения и загрузки существует способ указания пользовательских атрибутов (например, пользовательских слоев), но я не смог найти аналогичную команду, которая бы работала для copy.deepcopy(), где копия импортируется через import copy.

Я использую Tensorflow 1.12.0 в Python3.

Опять же, пользовательский слой предоставляется по ссылке выше. Сеть, использующая пользовательский слой, выглядит следующим образом:

class Network:
    def __init__(self, actionspace_size, learning_rate, gradient_momentum, gradient_min):
        frames_input = keras.layers.Input((84, 84, 4))
        actions_input = keras.layers.Input((actionspace_size,))

        conv1 = keras.layers.Conv2D(16, (8, 8), strides=(4, 4), activation="relu")(frames_input)
        conv2 = keras.layers.Conv2D(32, (4, 4), strides=(2, 2), activation="relu")(conv1)

        flattened = keras.layers.Flatten()(conv2)

        # NoisyNet        
        hidden = NoisyLayer(activation=tf.nn.relu)(inputs=flattened, resample_noise_flag=True)
        output = NoisyLayer(in_shape=(1,256), out_units=actionspace_size)(inputs=hidden, resample_noise_flag=True)

        filtered_output = keras.layers.merge.Multiply()([output, actions_input])

        self.model = keras.models.Model(inputs=[frames_input, actions_input], outputs=filtered_output)

        self.model.compile(loss='mse', optimizer=keras.optimizers.RMSprop(lr=learning_rate, rho=gradient_momentum, epsilon=gradient_min))

При звонке

q_net = Network(actionspace_size, learning_rate, gradient_momentum, gradient_min).
target_net = copy.deepcopy(q_net)

возникает следующая ошибка:

Traceback (most recent call last):
  File "DQN_tf_NoisyNet.py", line 315, in <module>
    main()
  File "DQN_tf_NoisyNet.py", line 252, in main
    target_net = copy.deepcopy(q_net)
  File "/usr/lib/python3.5/copy.py", line 182, in deepcopy
    y = _reconstruct(x, rv, 1, memo)
  File "/usr/lib/python3.5/copy.py", line 299, in _reconstruct
    y.__setstate__(state)
  File "/usr/local/lib/python3.5/dist-packages/keras/engine/network.py", line 1266, in __setstate__
    model = saving.unpickle_model(state)
  File "/usr/local/lib/python3.5/dist-packages/keras/engine/saving.py", line 435, in unpickle_model
    return _deserialize_model(f)
  File "/usr/local/lib/python3.5/dist-packages/keras/engine/saving.py", line 225, in _deserialize_model
    model = model_from_config(model_config, custom_objects=custom_objects)
  File "/usr/local/lib/python3.5/dist-packages/keras/engine/saving.py", line 458, in model_from_config
    return deserialize(config, custom_objects=custom_objects)
  File "/usr/local/lib/python3.5/dist-packages/keras/layers/__init__.py", line 55, in deserialize
    printable_module_name='layer')
  File "/usr/local/lib/python3.5/dist-packages/keras/utils/generic_utils.py", line 145, in deserialize_keras_object
    list(custom_objects.items())))
  File "/usr/local/lib/python3.5/dist-packages/keras/engine/network.py", line 1022, in from_config
    process_layer(layer_data)
  File "/usr/local/lib/python3.5/dist-packages/keras/engine/network.py", line 1008, in process_layer
    custom_objects=custom_objects)
  File "/usr/local/lib/python3.5/dist-packages/keras/layers/__init__.py", line 55, in deserialize
    printable_module_name='layer')
  File "/usr/local/lib/python3.5/dist-packages/keras/utils/generic_utils.py", line 138, in deserialize_keras_object
    ': ' + class_name)
ValueError: Unknown layer: NoisyLayer

Я знаю, что сама сеть не является проблемой (также как и подход глубокой копии), поскольку оба снова работают нормально, как только я заменяю NoisyLayers (custom) стандартными плотными слоями.

Кто-нибудь знает, как скопировать модель Tensorflow, включая пользовательские слои? Заранее спасибо!

Answer 1

Нашли решение:

Проблема снова заключалась в том, что Tensorflow / Keras не знали, как интерпретировать пользовательский слой. Таким образом, для предоставления информации о том, как интерпретировать слой, можно использовать Keras CustomObjectScope и скопировать модель в этой области следующим образом:

# Import
import copy
from keras.utils import CustomObjectScope

# Copy
with CustomObjectScope({"MyCustomLayer":MyCustomLayer}):
        model_copy = copy.deepcopy(model)

Это заботится о копировании. Однако это будет работать только из коробки, если нет пользовательских вводов, указанных в качестве параметров для конструктора пользовательского слоя (__init(...)).

Я полагаю, что это так, поскольку за кулисами функция copy (), похоже, временно сохраняет, а затем снова загружает исходную модель, используя некоторую pickle -функцию или около того, так что необходимо объявить значения для других параметров конструктора. а также:

Если начало пользовательского класса выглядит следующим образом, где output_dim является одним из пользовательских параметров, указанных выше:

class MyCustomLayer(keras.layers.Layer):

    def __init__(self, output_dim, **kwargs):
        self.output_dim = output_dim
        super(MyCustomLayer, self).__init__(**kwargs)

затем необходимо добавить функцию к классу MyCustomLayer, которая также заботится о том, чтобы параметры пользовательского конструктора сохранялись для сохранения и загрузки (при копировании):

def get_config(self):
        config = super(MyCustomLayer, self).get_config()

        # Specify here all the values for the constructor's parameters
        config['output_dim'] = self.output_dim

        return config

Эти два шага решили проблему в моем случае.