Я пытался создать модель с субтитрами, как в здесь
Я использовал ResNet50 вместо VGG16, а также мне пришлось использовать прогрессивную загрузку с помощью метода model.fit_generator ().
Я использовал ResNet50 из здесь , и когда я импортировал его, установив include_top = False, он дал мне возможности фотографии в форме {'key': [[[[value1, value2, ... . value 2048]]]]}, где «ключ» - это идентификатор изображения.
Вот мой код функции генератора титров: -
def createCaptions(tokenizer, photoData, MaxLength, model):
for key, feature in photoData.items():
inSeq = "START"
for i in range(MaxLength):
sequence = tokenizer.texts_to_sequences([inSeq])[0]
sequence = pad_sequences([sequence], maxlen = MaxLength)
ID = model.predict([np.array(feature[0][0][0]), inSeq])
ID = word_for_id(ID)
if ID is None:
break
inSeq += " " + ID
if ID == "END":
break
print(inSeq)
Функция word_for_id: -
def word_for_id(integer, tokenizer):
for word, index in tokenizer.word_index.items():
if index == integer:
return word
return None
Я сгенерировал фотоданные через: -
features = {}
for images in os.listdir(args["image"]):
filename = args["image"] + '/' + images
image = load_img(filename, target_size = inputShape)
image = img_to_array(image)
image = np.expand_dims(image, axis = 0)
image = preprocess(image)
pred = resnet.predict(image)
image_id = images.split('.')[0]
features[image_id] = pred
print('>{}'.format(images))
особенности - мой словарь фотоданных.
Когда я пытаюсь создать подписи: -
caption = createCaptions(tokenizerTrain, features, 34, model)
Я получаю следующую ошибку: -
Traceback (most recent call last):
File "CaptionGenerator.py", line 111, in <module>
caption = createCaptions(tokenizerTrain, features, 34, model)
File "CaptionGenerator.py", line 101, in createCaptions
ID = model.predict([np.array(feature[0][0][0]), inSeq])
File "/home/aditya/.virtualenvs/cv/lib/python3.5/site-packages/keras/engine/training.py", line 1817, in predict
check_batch_axis=False)
File "/home/aditya/.virtualenvs/cv/lib/python3.5/site-packages/keras/engine/training.py", line 76, in _standardize_input_data
data = [np.expand_dims(x, 1) if x is not None and x.ndim == 1 else x for x in data]
File "/home/aditya/.virtualenvs/cv/lib/python3.5/site-packages/keras/engine/training.py", line 76, in <listcomp>
data = [np.expand_dims(x, 1) if x is not None and x.ndim == 1 else x for x in data]
AttributeError: 'str' object has no attribute 'ndim'
Где я ошибся?
Пожалуйста помоги.
Заранее спасибо.