Как извлечь / вырезать части изображений, классифицированных по модели?

Question

Я новичок в области глубокого изучения, мне было интересно, есть ли способ извлечь части изображений, содержащих разные метки, и затем передать эти части другой модели для дальнейшей обработки? Например, рассмотрим классификацию «собака против кошки». Предположим, что изображение содержит как кошку, так и собаку. Мы успешно классифицируем, что изображение содержит и то и другое, но как мы можем классифицировать породу присутствующей собаки и кошки?

Подход, о котором я думал, заключался в извлечении / вырезании частей изображения, содержащих собаку и кошку. А затем раздать эти части в соответствующую модель классификации пород собак и модель классификации пород отдельно. Но я понятия не имею, как это сделать.

Answer 1

Ваше мышление правильное, вы можете иметь несколько конвейеров в зависимости от количества классов.

1. Обучение:

   Основная модель будетмодели обнаружения и локализации объектов, такие как Faster RCNN, YOLO, SSD и т. д., обученные для классификации на высоком уровне, такие как кошка и собака. Этот конвейер предоставляет вам подробности ограничивающего прямоугольника (слева, снизу, справа, сверху) вместе с метками.

   Подмодели будут представлять собой несколько моделей, обученных на уровне любовника. Например модель, которая обучена классифицировать породу. Это может быть сделано с помощью таких моделей, как vgg, resnet, inception и т. Д. Вы можете использовать трансферное обучение здесь.

2. Вывод: пропустите изображение через основную модель, обрежьте объекты обнаружения с помощью ограничениядетали коробки (слева, снизу, справа, сверху) и на основе информации метки, введите соответствующую субмодель и извлеките результаты.