Архитектура Keras отличается от сохраненной и загруженной модели - PullRequest
Новая
       16

Архитектура Keras отличается от сохраненной и загруженной модели

1 голос
/ 21 октября 2019

В настоящее время я изучаю CycleGAN и использую simontomaskarlssons репозиторий github в качестве базового уровня. Моя проблема возникает, когда обучение закончено, и я хочу использовать сохраненную модель для генерации новых образцов. Здесь архитектура модели для загруженной модели отличается от инициализированного генератора. Прямая ссылка для функции saveModel здесь .

Когда я инициализирую генератор, который выполняет перевод из домена A в B, сводка выглядит следующим образом (строка в github ). Это как ожидалось, так как мое входное изображение (140,140,1), и я ожидаю, что выходное изображение будет (140,140,1): 

__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_5 (InputLayer)            (None, 140, 140, 1)  0                                            
__________________________________________________________________________________________________
reflection_padding2d_1 (Reflect (None, 146, 146, 1)  0           input_5[0][0]                    
__________________________________________________________________________________________________
conv2d_9 (Conv2D)               (None, 140, 140, 32) 1600        reflection_padding2d_1[0][0]     
__________________________________________________________________________________________________
instance_normalization_5 (Insta (None, 140, 140, 32) 64          conv2d_9[0][0]                   
__________________________________________________________________________________________________

...

__________________________________________________________________________________________________
activation_12 (Activation)      (None, 140, 140, 32) 0           instance_normalization_23[0][0]  
__________________________________________________________________________________________________
reflection_padding2d_16 (Reflec (None, 146, 146, 32) 0           activation_12[0][0]              
__________________________________________________________________________________________________
conv2d_26 (Conv2D)              (None, 140, 140, 1)  1569        reflection_padding2d_16[0][0]    
__________________________________________________________________________________________________
activation_13 (Activation)      (None, 140, 140, 1)  0           conv2d_26[0][0]                  
==================================================================================================
Total params: 2,258,177
Trainable params: 2,258,177
Non-trainable params: 0

Когда обучение закончится, я хочу загрузить сохраненные модели вгенерировать новые образцы (перевод из домена A в домен B). В этом случае не имеет значения, успешна ли модель при переводе изображений или нет. Я загружаю модель со следующим кодом: 

# load json and create model
json_file = open('G_A2B_model.json', 'r')
loaded_model_json = json_file.read()
json_file.close()

loaded_model = model_from_json(loaded_model_json, custom_objects={'ReflectionPadding2D': ReflectionPadding2D, 'InstanceNormalization': InstanceNormalization})

или следующим, что дает тот же результат. 

loaded_model = load_model('G_A2B_model.h5', custom_objects={'ReflectionPadding2D': ReflectionPadding2D, 'InstanceNormalization': InstanceNormalization})

Где ReflectionPadding2D инициализируется как (обратите внимание, что у меня есть отдельный файл длязагрузка модели для обучения (CycleGAN): 

# reflection padding taken from
# https://github.com/fastai/courses/blob/master/deeplearning2/neural-style.ipynb
class ReflectionPadding2D(Layer):
    def __init__(self, padding=(1, 1), **kwargs):
        self.padding = tuple(padding)
        self.input_spec = [InputSpec(ndim=4)]
        super(ReflectionPadding2D, self).__init__(**kwargs)

    def compute_output_shape(self, s):
        return (s[0], s[1] + 2 * self.padding[0], s[2] + 2 * self.padding[1], s[3])

    def call(self, x, mask=None):
        w_pad, h_pad = self.padding
        return tf.pad(x, [[0, 0], [h_pad, h_pad], [w_pad, w_pad], [0, 0]], 'REFLECT')

Теперь, когда моя модель загружена, я хочу перевести изображения из домена A в домен B. Здесь я ожидал, что выходная форма будет (140,140,1), нона удивление (132,132,1). Я проверил сводку архитектуры для G_A2B_model, которая ясно показывает, что выходные данные имеют форму (132,132,1): 

Model: "G_A2B_model"
__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
input_5 (InputLayer)            (None, 140, 140, 1)  0                                            
__________________________________________________________________________________________________
reflection_padding2d_1 (Reflect (None, 142, 142, 1)  0           input_5[0][0]                    
__________________________________________________________________________________________________
conv2d_9 (Conv2D)               (None, 136, 136, 32) 1600        reflection_padding2d_1[0][0]     
__________________________________________________________________________________________________
instance_normalization_5 (Insta (None, 136, 136, 32) 64          conv2d_9[0][0]                   
__________________________________________________________________________________________________

...

__________________________________________________________________________________________________
instance_normalization_23 (Inst (None, 136, 136, 32) 64          conv2d_transpose_2[0][0]         
__________________________________________________________________________________________________
activation_12 (Activation)      (None, 136, 136, 32) 0           instance_normalization_23[0][0]  
__________________________________________________________________________________________________
reflection_padding2d_16 (Reflec (None, 138, 138, 32) 0           activation_12[0][0]              
__________________________________________________________________________________________________
conv2d_26 (Conv2D)              (None, 132, 132, 1)  1569        reflection_padding2d_16[0][0]    
__________________________________________________________________________________________________
activation_13 (Activation)      (None, 132, 132, 1)  0           conv2d_26[0][0]                  
==================================================================================================
Total params: 2,258,177
Trainable params: 2,258,177
Non-trainable params: 0

Чего я не понимаю, так это почему форма вывода (132x132x1). Но я вижу, что проблема возникает в reflePadding2D, где выходная форма инициализированного генератора равна (146,146,1), а выходная форма генератора сохранения равна (142,142,1). Но я понятия не имею, почему это происходит? Потому что теоретически они должны быть одинакового размера.

1 Ответ

1 голос
/ 21 октября 2019

Когда вы сохраняете свою архитектуру, используя model.to_json, вызывается метод get_config, чтобы также сохранить атрибуты слоя. Поскольку вы используете пользовательский класс без этого метода, значение по умолчанию для заполнения используется при вызове model_from_json.

Использование следующего кода для ReflectionPadding2D должно решить вашу проблему, просто запустите шаг обученияснова и перезагрузите модель. 

class ReflectionPadding2D(Layer):
    def __init__(self, padding=(1,1), **kwargs):
        self.padding = tuple(padding)
        super(ReflectionPadding2D, self).__init__(**kwargs)

    def compute_output_shape(self, s):
        return (s[0], s[1] + 2 * self.padding[0], s[2] + 2 * self.padding[1], s[3])

    def call(self, x, mask=None):
        w_pad, h_pad = self.padding
        return tf.pad(x, [[0, 0], [h_pad, h_pad], [w_pad, w_pad], [0, 0]], 'REFLECT')

    # This is the relevant method that should be added
    def get_config(self):
        config = {
            'padding': self.padding

        }
        base_config = super(ReflectionPadding2D, self).get_config()
        return dict(list(base_config.items()) + list(config.items()))
...