(глубокое обучение, RSN, CNN) изображение изображение захватывая с керасом - PullRequest
Новая
       13

(глубокое обучение, RSN, CNN) изображение изображение захватывая с керасом

0 голосов
/ 14 мая 2019

Я создал учебник для создания титров, но он не работает. помоги мне ...

Субтитры к изображениям - это модель, которая объясняет изображение, которое вводит человек.

У меня нет графического процессора, поэтому я должен сделать ту же модель в учебнике, а затем я буду загружать веса в учебном каталоге.

Я копирую учебник с субтитрами

вот код учебной модели обучения: 

image_model = Sequential([
    Dense(embedding_size, input_shape=(2048,), activation='relu'),
    RepeatVector(max_len)
    ])

caption_model = Sequential([
    Embedding(vocab_size, embedding_size, input_length=max_len),
    LSTM(256, return_sequences=True),
    TimeDistributed(Dense(300))
])  

final_model = Sequential([
    Merge([image_model, caption_model], mode='concat', concat_axis=1),
    Bidirectional(LSTM(256, return_sequences=False)),
    Dense(vocab_size),
    Activation('softmax')
    ])

final_model.compile(loss='categorical_crossentropy', optimizer=RMSprop(),         
    metrics=['accuracy'])

Однако, это не работает, некоторые люди говорят, что этот код разработан с помощью Sequential. Итак, я меняю их на Function API. Но я не знаю, как их изменить.

вот мой код: 

embedding_size = 300
vocab_size = 8256
max_len = 40

image_model = Sequential([
    Dense(embedding_size, input_shape=(2048,), activation='relu'),
    RepeatVector(max_len)
  ])

caption_model = Sequential([
    Embedding(vocab_size, embedding_size, input_length=max_len),
    LSTM(256, return_sequences=True),
    TimeDistributed(Dense(300))
])

image_in = Input(shape=(2048,))
caption_in = Input(shape=(max_len, vocab_size))
merged = concatenate([image_model(image_in), caption_model(caption_in)], 
       axis=0)
latent = Bidirectional(LSTM(256, return_sequences=False))(merged)
out = Dense(vocab_size, activation='softmax')(latent)
model = Model([image_in(image_in), caption_in(caption_in)], out)
model.compile(loss='categorical_crossentropy', optimizer=RMSprop(),             
    metrics=['accuracy'])

Я получил ошибку: 

ValueError: "input_length" is 40, but received input has shape (None, 40, 8256)

пожалуйста, помогите мне ... Я потратил 2 недели только на это ....

1 Ответ

0 голосов
/ 14 мая 2019

Как указывается в сообщении об ошибке, ваш ввод в слой внедрения имеет неправильную форму: 

caption_in = Input(shape=(max_len, vocab_size))

Попробуйте изменить его на: 

caption_in = Input(shape=(max_len,))
...