Как использовать веса последнего скрытого слоя от одного предварительно обученного MLP в качестве входных данных для нового MLP (обучение с переносом) с Keras? - PullRequest
Новая
       6

Как использовать веса последнего скрытого слоя от одного предварительно обученного MLP в качестве входных данных для нового MLP (обучение с переносом) с Keras?

0 голосов
/ 05 января 2019

Я хочу сделать обучение с помощью простых моделей MLP. Сначала я обучаю сеть с 1 прямой связью на больших данных: 

net = Sequential()
net.add(Dense(500, input_dim=2048, kernel_initializer='normal', activation='relu'))
net.add(Dense(1, kernel_initializer='normal'))
net.compile(loss='mean_absolute_error', optimizer='adam')
net.fit(x_transf, 
        y_transf,
        epochs=1000, 
        batch_size=8, 
        verbose=0)

Затем я хочу передать уникальный скрытый слой в качестве входных данных для новой сети, в которую я хочу добавить второй слой. Повторно используемый слой не должен быть обучаемым. 

idx = 1  # index of desired layer
input_shape = net.layers[idx].get_input_shape_at(0) # get the input shape of desired layer
input_layer = net.layers[idx]
input_layer.trainable = False

transf_model = Sequential()
transf_model.add(input_layer)
transf_model.add(Dense(input_shape[1], activation='relu'))
transf_model.compile(loss='mean_absolute_error', optimizer='adam')
transf_model.fit(x, 
                 y,
                 epochs=10, 
                 batch_size=8, 
                 verbose=0)

EDIT: Код выше возвращает: 

ValueError: Error when checking target: expected dense_9 to have shape (None, 500) but got array with shape (436, 1)

Какой трюк, чтобы заставить эту работу?

1 Ответ

0 голосов
/ 07 января 2019

Я бы просто использовал Функциональный API для построения такой модели: 

shared_layer = net.layers[0] # you want the first layer, so index = 0
shared_layer.trainable = False

inp = Input(the_shape_of_one_input_sample) # e.g. (2048,)
x = shared_layer(inp)
x = Dense(800, ...)(x)
out = Dense(1, ...)(x)

model = Model(inp, out)

# the rest is the same...
...