Оценка поезда и проверки высокая, но очень низкая точность теста - PullRequest
Новая
       30

Оценка поезда и проверки высокая, но очень низкая точность теста

0 голосов
/ 15 февраля 2019

Я работаю над классификацией изображений с несколькими метками, я использую начальную сеть в качестве своей базовой архитектуры.после завершения обучения я получаю, точность обучения> 90% и точность проверки> 85%, но я получаю 17% точность данных испытаний.

Обучение модели -> 

model = Model(pre_trained_model.input, x)
model.compile(loss='categorical_crossentropy',
              optimizer=RMSprop(lr=0.0001),#'adam'
              metrics=['acc'])
    history = model.fit_generator(
      train_generator,
      steps_per_epoch=600,#total data/batch size
      epochs=100,
      validation_data=validation_generator,
      validation_steps=20,
      verbose=1,callbacks = callbacks)

Тестирование на обученной модели: 

test_generator = test_datagen.flow_from_directory(
    test_dir,target_size=(128, 128),batch_size=1,class_mode='categorical')

filenames = test_generator.filenames
nb_samples = len(filenames)

prediction = test_model.predict_generator(test_generator,steps=nb_samples,verbose=1)

Сохранение результатов в Pandas 

predicted_class_indices = np.argmax(prediction,axis=1)
labels = (train_generator.class_indices) #geting names of classes from folder structure
labels = dict((v,k) for k,v in labels.items())
predictions = [k for k in predicted_class_indices]

results=pd.DataFrame({"image_name":filenames,
                      "label":predictions})
results['image_name'] = [each.split("\\")[-1] for each in results['image_name']]

Все выглядит хорошо, но все же я получаю очень плохой прогноз.Кидли, помоги мне выйти из себя, где я делаю ошибки.

1 Ответ

0 голосов
/ 15 февраля 2019

Может случиться, что изображения в вашем наборе данных упорядочены таким образом, что тестовые изображения ранее не были замечены моделью, и поэтому точность значительно упала.

Я рекомендую вам попробоватьиспользовать перекрестную проверку K-кратных или даже стратифицированную перекрестную проверку K-кратных .Преимущество заключается в том, что ваш набор данных будет разделен, скажем, на 10 «пакетов».Каждую итерацию (из 10) одна партия будет испытательной, а все остальные - поездами.На следующей итерации тестовая партия из предыдущего шага становится партией поезда, а другая партия становится тестовой партией.Важно отметить, что каждая партия будет тестовой только один раз.Другим преимуществом стратифицированной K-кратности является то, что она будет учитывать метки классов и пытаться разбивать классы таким образом, чтобы в каждой партии было примерно одинаковое распределение классов.

Еще один способ добиться некоторого лучшегоВ результате мы просто перетасовываем изображения, выбираем обучающие и проверяем.

...