Перенастройка при использовании ретинанета физиром для обнаружения повреждений автомобиля (регрессия и классификация)

Question

Я пытаюсь определить тип повреждений (царапины, вмятины, трещины) и их ограничивающие рамки на изображениях автомобилей. Я тренировал это на ретинанете от fizyr, но модель сильно перегружена. На тренировке я получаю MAP 0,89, а на тесте я просто получаю MAP 0,07. Я использовал 1200 изображений для обучения и 350 тестов, подробности упомянуты ниже.

-Training result
-22 instances of class rusted with average precision: 0.7371
-93 instances of class missing with average precision: 0.9160
-517 instances of class major dent with average precision: 0.9461
-1201 instances of class scratch with average precision: 0.9356
-84 instances of class tear with average precision: 0.8001
-470 instances of class minor dent with average precision: 0.9523
-435 instances of class cracked with average precision: 0.9276
-mAP using the weighted average of precisions among classes: 0.9329
-mAP: 0.8879

Test
-3 instances of class rusted with average precision: 0.0000
-13 instances of class missing with average precision: 0.0874
-160 instances of class major dent with average precision: 0.1057
-318 instances of class scratch with average precision: 0.1434
-27 instances of class tear with average precision: 0.0462
-111 instances of class minor dent with average precision: 0.0205
-127 instances of class cracked with average precision: 0.1159
--mAP using the weighted average of precisions among classes: 0.1079
mAP: 0.0742

Я знаю, что классы не сбалансированы, но такая огромная разница между тестом и поездом. Также модель демонстрирует плохие результаты на уроке с большим количеством тренировочных примеров.

Answer 1

Да, ваши уроки не сбалансированы, но у вас достаточно образов, чтобы вы справлялись с этим лучше. Как вы выбрали свой поезд / тестовый раздел? Результаты показывают, что там есть проблема рандомизации. Как бы то ни было, ваша модель изучает неправильные критерии классификации.

Это напоминает мне модель собаки / кошки, которая научилась различать фон, на котором люди фотографируют своих питомцев.

Сначала попробуйте вращать или перетасовывать тренировочные и тестовые наборы. Можете ли вы использовать перекрестную проверку в этом приложении? Это само по себе может решить вашу проблему.

Если это не удастся, можете ли вы изменить модель - возможно, включить выпадающий слой? Это помогло бы выучить неверные гипотезы.