API обнаружения объектов - обработка фоновых изображений и объектов, помеченных многократно

Question

Я использую OD-API для обучения моделей. У меня есть два вопроса относительно способа обработки фоновых изображений и изображений, которые имеют один и тот же объект, помеченный дважды (или более) разными именами меток, и что при использовании Fast_rcnn_resnet101 и SSD_mobilenet_v2 .

1- Когда изображение не имеет ящиков истинности (фоновое изображение), генерируем ли мы для них якорные ящики в случае использования fRCNN (или ящиков по умолчанию для SSD), даже если у нас нет ящиков GT? Или все изображение в таком случае будет отрицательным примером?

2- Когда изображение имеет два (или более) блока GT с одинаковыми координатами, но разными названиями меток, возникают ли проблемы при сопоставлении с Якорные ящики (или ящики по умолчанию для SSD)? например, здесь будет соответствовать только один из блоков GT?

Я буду рад любой помощи, я пробовал читать документы, учебные пособия и книги, но не мог найти ответов или, возможно, я что-то упустил. Что касается вопроса 2, профессор Эндрю Нг сказал в 6:55 этого видео о якорных блоках в YOLO, что такие случаи, когда у нас есть несколько объектов в одной ячейке сетки, эти случаи не могут быть обработаны. хорошо. Так что, возможно, то же самое относится и к моим случаям, хотя я не знаю, что в результате происходит в моих случаях. Также я думаю, что эти файлы target_assigner.py и argmax_matcher.py имеют некоторые подсказки, но я также не могу подтвердить.

Заранее спасибо

Answer 1

1) Якорные блоки не зависят от наземных ящиков и генерируются на основе формы изображения (и конфигурации якоря). Цели - это то, что создается на основе блоков GT и сгенерированных якорей для обучения головы регрессии ограничивающего прямоугольника. Если нет наземных блоков истинности, цели не создаются, и все изображение используется в качестве отрицательных выборок для классификационной головки, не влияя на головку регрессии (она обучается только на положительных выборках).

2) I я не уверен на 100% в этом, но, насколько я могу судить, регрессия ограничивающего прямоугольника не будет иметь проблем (если ограничивающие прямоугольники идентичны, IoU с якорями идентичен, и целевой назначитель просто выберет один из два), но классификация могла бы. IIR C есть способы включить классификацию по нескольким меткам (хотя у меня в этом нет опыта), так что это может вам немного помочь. Однако лучшим решением было бы отказаться от многократной аннотации объектов.