Как я могу сгенерировать данные проверки с помощью генератора данных, когда модель обучается с помощью функции 'fit_generator'? - PullRequest
Новая
       94

Как я могу сгенерировать данные проверки с помощью генератора данных, когда модель обучается с помощью функции 'fit_generator'?

0 голосов
/ 07 апреля 2020

Я генерирую тренировочные данные модели субтитров с помощью data generator, который добавлен ниже. Эта модель основана на модели здесь . Как я могу сгенерировать и установить данные проверки аналогичным образом во время обучения? У меня есть функции проверочных изображений и их подписей.

Генератор данных: 

def data_generator(all_train_captions, train_features, wordtoix, max_length, num_photos_per_batch, vocab_size):
    X1, X2, y = list(), list(), list()
    n = 0
    # loop for ever over images
    while True:
        for image_id, desc in all_train_captions.items():
            image_id = image_id.strip()

            n += 1
            # retrieve the photo feature
            photo = train_features[image_id]
            # encode the sequence
            seq = [wordtoix[word] for word in desc.split(' ') if word in wordtoix]
            # split one sequence into multiple X, y pairs
            for i in range(1, len(seq)):
                # split into input and output pair
                in_seq, out_seq = seq[:i], seq[i]
                # pad input sequence
                in_seq = pad_sequences([in_seq], maxlen=max_length)[0]
                # encode output sequence
                out_seq = to_categorical([out_seq], num_classes=vocab_size)[0]
                # store
                X1.append(photo)
                X2.append(in_seq)
                y.append(out_seq)
            # yield the batch data
            if n == num_photos_per_batch:
                yield [[array(X1), array(X2)], array(y)]
                X1, X2, y = list(), list(), list()
                n = 0

Обучение модели 

generator = data_generator(all_train_captions, encoding_train, wordtoix, max_caption_length,
                           number_pics_per_bath, vocab_size)
history = model.fit_generator(generator, epochs=epochs, steps_per_epoch=steps, callbacks=callbacks, verbose=1)

ps Использование Keras на TensorFlow бэкэнд как библиотека глубокого обучения.

1 Ответ

1 голос
/ 07 апреля 2020

Вам нужен еще один генератор.

Один для обучения, другой для проверки. Просто создайте два генератора, один из которых использует данные обучения, а другой - данные проверки. 

train_generator = data_generator(all_train_captions, encoding_train, wordtoix, max_caption_length, 
                                 number_pics_per_bath, vocab_size)
val_generator = data_generator(all_val_captions, encoding_val, wordtoix, max_caption_length, 
                               number_pics_per_bath, vocab_size)
...