Keras тонкая настройка предварительно обученной модели не меняет вес при использовании multi_gpu_model и Layers.trainable = True

Question

Я загружаю предварительно подготовленную модель VGG16, добавляю пару плотных слоев и настраиваю последние 5 слоев базовой VGG16.Я тренирую свою модель на Mutliple GPU.Я сохранил модель до и после тренировки.Веса одинаковы, несмотря на наличие слоев .trainable = True.

Пожалуйста, помогите!

Вот код

    from keras import applications
    from keras import Model
    <import other relevant Keras layers, etc.>


    model = applications.VGG16(weights = "imagenet", include_top = False, input_shape = (224,224,3))

    model.save('./before_training')

    for layer in model.layers:
        layer.trainable = False

    for layer in model.layers[-5:]:
        layer.trainable = True

     x = model.output
     x = Flatten()(x)
     x = Dense(1024, activation = "relu")(x)
     x = Dropout(0.5)(x)
     x = Dense(1024, activation = "relu")(x)
     predictions = Dense(2, activation = "softmax")(x)
     model_final = Model(input = model.input, output = predictions)


     from keras.utils import multi_gpu_model
     parallel_model = multi_gpu_model(model_final, gpus = 4)
     parallel_model.compile(loss = "categorical_crossentropy" ..... )


     datagen = ImageDataGenerator(....)


     early = EarlyStopping(...)

     train_generator = datagen.flow_from_directory(train_data_dir,...)
     validation_generator = datagen.flow_from_directory(test_data_dir,...)

     parallel_model.fit_generator(train_generator, validation_data = valiudation_generator,...)

     model_final.save('./after_training)

Вес в моделях before_training и after_training одинаков !!!Что не то, что я ожидал!