Я пытаюсь закодировать генератор заголовка изображения, используя модель CNN-RNN.Для части RNN я создаю свой собственный класс CaptionGenerator
, один из методов которого create_model
(показанный ниже) создает две последовательные модели - модель изображения и модель языка и объединяет их.После этого я компилирую модель.
def create_model(self, ret_model = False):
image_model = Sequential()
image_model.add(Dense(EMBEDDING_DIM, input_dim = 4096, activation='relu'))
image_model.add(RepeatVector(self.max_cap_len))
lang_model = Sequential()
lang_model.add(Embedding(self.vocab_size, 256, input_length=self.max_cap_len))
lang_model.add(LSTM(256,return_sequences=True))
lang_model.add(TimeDistributed(Dense(EMBEDDING_DIM)))
model = Sequential()
model.add(keras.layers.Concatenate([image_model, lang_model]))
model.add(LSTM(1000,return_sequences=False))
model.add(Dense(self.vocab_size))
model.add(Activation('softmax'))
if(ret_model==True):
return model
model.compile(loss='categorical_crossentropy', optimizer='rmsprop', metrics=['accuracy'])
return model
В другом файле я создаю объект этого класса, используя который я создаю объект вышеуказанной модели.
def train_model(weight = None, batch_size=32, epochs = 10):
cg = caption_generator.CaptionGenerator()
model = cg.create_model()
if weight != None:
model.load_weights(weight)
counter = 0
file_name = 'weights-improvement-{epoch:02d}.hdf5'
checkpoint = ModelCheckpoint(file_name, monitor='loss', verbose=1,
save_best_only=True, mode='min')
callbacks_list = [checkpoint]
print(" Fitting the data ")
model.fit_generator(cg.data_generator(batch_size=batch_size),
steps_per_epoch=cg.total_samples/batch_size,
epochs=epochs, verbose=2,
callbacks=callbacks_list)
try:
model.save('Models/WholeModel.h5', overwrite=True)
model.save_weights('Models/Weights.h5',overwrite=True)
except:
print ( "Error in saving model." )
print ( "Training complete...\n" )
Но когда я вызываю function model.fit_generator()
,Я получаю следующую ошибку, хотя модель была скомпилирована в методе create_model
класса CaptionGenerator
:
RuntimeError: You must compile your model before using it.
Стек ошибок
МодельАрхитектура