Является ли поле с неправильной маркировкой ошибочным в метриках Pascal VO C?

Question

Я использую API обнаружения объектов Tensorflow для обучения детектора пользовательских объектов. Я решил использовать Pascal VO C 2010-2012 в качестве показателя моей оценки c. Все работает как положено, но у меня есть проблема с пониманием идеи ложных положительных результатов. Согласно официальному документу для Pascal VO C вызов e, ложное срабатывание - это когда IoU меньше порогового значения (например, .5). Однако я не смог найти ни одного источника, в котором бы упоминалось, считается ли неправильно маркированная коробка с высоким IoU ложно-положительной или она будет классифицироваться как игнорируемая (ложное отрицание). Кто-нибудь знает, где я могу найти больше данных по этому вопросу?

Answer 1

Согласно определению, найденному по адресу: https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/evaluation_protocols.md

Обнаружение является «ложноположительным», если оно не является ни «истинно положительным», ни «игнорируемым».

Посмотрите на этот пример (также заимствованный с сайта выше):

На рисунке ниже ясно, что для верхнего левого обнаружения (где обнаружение автомобиль, но наземная правда - это автобус, IoU metric выше, чем 0,5).

Однако из-за того, что наземная правда - это шина, а обнаружение - это машина, она также считается ложноположительным.

*** ПРИМЕЧАНИЕ. Хотя приведенный выше пример относится к примерам OID, а не VO C, поскольку mAP используется при оценке VO C, должны применяться те же критерии.

Согласно приведенному ниже фрагменту (взято из: http://host.robots.ox.ac.uk/pascal/VOC/voc2010/devkit_doc_08-May-2010.pdf)

Обнаружения считаются истинными или ложными срабатываниями, основанными на области перекрытия с наземными ограничивающими прямоугольниками. Чтобы считаться правильным обнаружением, область перекрытия ao между предсказанной ограничительной рамкой Bp и ограничивающей рамкой наземной истинности Bgt должна превышать 50%.

Поскольку понятие ложного отрицания в случае не существует обнаружения объектов (только на уровне сегментации, если вы прочитали разделы оценки как для обнаружения объектов, так и для сегментации), ясно, что описанный вами случай считается ложноположительным.