Я пытался сделать модель подписи изображения таким же образом, как в здесь Я использовал ResNet50 вместо VGG16 и также должен был использовать прогрессивную загрузку с помощью метода model.fit_generator ().Я использовал ResNet50 из здесь , и когда я импортировал его, установив include_top = False, он дал мне возможности фотографии в форме {'key': [[[[value1, value2, .... value 2048]]]]}, где «ключ» - это идентификатор изображения.Вот мой код функции captionGenerator: -
def createCaptions(tokenizer, photoData, MaxLength, model):
for key, feature in photoData.items():
inSeq = "START"
for i in range(MaxLength):
sequence = tokenizer.texts_to_sequences([inSeq])[0]
sequence = pad_sequences([sequence], maxlen = MaxLength)
ID = model.predict([np.array(feature[0][0][0]), sequence])
ID = np.argmax(ID)
ID = word_for_id(ID)
if ID is None:
break
inSeq += " " + ID
if ID == "END":
break
print(inSeq)
Функция word_for_id: -
def word_for_id(integer, tokenizer):
for word, index in tokenizer.word_index.items():
if index == integer:
return word
return None
Я сгенерировал фотоданные с помощью: -
features = {}
for images in os.listdir(args["image"]):
filename = args["image"] + '/' + images
image = load_img(filename, target_size = inputShape)
image = img_to_array(image)
image = np.expand_dims(image, axis = 0)
image = preprocess(image)
pred = resnet.predict(image)
image_id = images.split('.')[0]
features[image_id] = pred
print('>{}'.format(images))
мой словарь фотоданных.
Проблема в описаниях фотографий обучающих данных, которые я генерирую с помощью: -
def train_test_data(filename):
DataFile = open(filename, 'r')
Data = DataFile.read()
DataFile.close()
ImageID = []
textDataFile = pickle.load(open('descriptions.pkl', 'rb'))
for line in Data.split('\n'):
if len(line) < 1:
continue
ImageID.append(line.split('.')[0])
Data = {}
for key in textDataFile:
if key in ImageID:
Data[key] = textDataFile[key]
for ID in Data:
for i in range(len(Data[ID])):
l = Data[ID][i]
l = "START " + " ".join(l) + " END"
Data[ID][i] = l
return Data
Здесь я добавил «START» и «END» в начале и в конце.каждого предложения описания соответственно.Но в tokenizer.word_index «START» и «END» не найдены в качестве ключей.То есть: -
k = pickle.load(open('word_index.pkl', 'rb'))
print("START" in k)
Это дает результат как Ложь.Пожалуйста, объясните мне, почему это происходит.Если я сделаю: -
k = pickle.load(open('word_index.pkl', 'rb'))
print("start" in k)
Ответ получится True.