Маска Сегментация экземпляра R-CNN против обнаружения объекта

Question

У меня проблема с обнаружением объектов, когда мои данные состоят из изображений с ограничительными рамками. Я просматривал несколько современных сетей обнаружения объектов (https://paperswithcode.com/task/object-detection), и мне не удается увидеть, где заканчивается сегментация экземпляра и начинается обнаружение объекта.

Я пытаюсь выяснить, что будет выполненолучше всего, когда тренируются с аннотированными данными ограничивающего прямоугольника. Будет ли что-то вроде маски R-CNN работать лучше, чем более быстрый R-CNN, или это повышение производительности потребует, чтобы все мои данные были сегментированы на уровне пикселей вместо аннотированных ограничивающими прямоугольникамитонкая настройка? Будет ли маска R-CNN превосходить R-CNN быстрее, если она обучена на ограничивающих прямоугольниках и нет сегментированных данных? Я знаю, что можно сделать вывод ограничивающего прямоугольника с помощью маски R-CNN, но можно ли обучить модель без сегментации на уровне пикселей? Чтотакое современное средство обнаружения объектов, которое не требует обучения по сегментации на уровне пикселей?

Answer 1

Просто чтобы добавить больше контекста, в работу, разработанную Rohit Malhotra et al. [1] авторы использовали модель глубокого Mask R-CNN , систему глубокого обучения для сегментации экземпляра объекта для обнаружения и количественного определения числа людей. В этой работе они использовали маску R-CNN для определения количества людей. С другой стороны, Faster R-CNN [2] расширен до Маска R-CNN путем добавления ветви для прогнозирования масок сегментации для каждой Области интереса ( RoI ), сгенерированный в Faster R-CNN . В итоге авторы измерили модель в единицах Precision и Recall для последовательностей изображений. Результаты представлены в документе .

. Этот метод может использоваться для сбора надежных и точных данных, необходимых для исследований, посвященных влиянию политики посещений, а также частоте и времени проведения медицинских процедур. на цикл сна-бодрствования пациентов и, следовательно, их исход, например, продолжительность пребывания в больнице. Маска R-CNN также может использоваться для обнаружения ключевых точек, которые могут использоваться для обнаружения осанки пациентов в больнице.

[1] Рохит Малхотра, К. , Давуди А., Сигел С., Бихорак А. и Рашиди П., 2018. Автономное обнаружение сбоев в отделении интенсивной терапии с использованием глубокой маски R-CNN. В материалах конференции IEEE по компьютерному видению и семинарам по распознаванию образов (стр. 1863-1865).

[2] Рен С., Хе К., Гиршик Р. и Сан, Дж.,2015. Faster r-cnn: на пути к обнаружению объектов в реальном времени с сетями региональных предложений. В Достижения в нейронных системах обработки информации (стр. 91-99).

Answer 2

Будет ли что-то вроде маски R-CNN работать лучше, чем более быстрый R-CNN, или это повышение производительности потребует, чтобы все мои данные были сегментированы на уровне пикселей вместо аннотированных ограничивающими прямоугольниками перед точной настройкой?

Да, Маска R-CNN требует, чтобы ваши данные были сегментированы на уровне пикселей, потому что это модель сегментации, которая на один уровень выше и сложнее, чем модели обнаружения объектов.

Будет ли маска R-CNN превосходить R-CNN быстрее, если обучены на ограничивающих прямоугольниках и нет сегментированных данных?

Нет, Маска R-CNN основан на Ускоренном обнаружении объекта R-CNN с добавленным к нему модулем сегментации. Поэтому, если данные аннотированы с помощью ограничивающих рамок, достаточно Faster R-CNN и нет смысла использовать Mask R-CNN .

Iзнаю, что вы можете сделать вывод ограничительной рамки с помощью маски R-CNN, но можете ли вы обучить модель без сегментации на уровне пикселей?

Да, возможно, вы можете обучить модель таким образом, но производительность не будетхороший. Также нет никакого смысла в этом, поскольку маска R-CNN немного медленнее, чем Faster R-CNN.

Каков современный уровень обнаружения объектов, который не требуетобучение с сегментацией на уровне пикселей?

Выбор между объектом обнаружение и сегментация зависит от приложения и вашей цели. Если вы, например, имеете дело с медицинскими изображениями и пытаетесь обнаружить опухоль, то вам нужна сегментация, но, например, для обнаружения автомобиля на улице вам может быть неинтересны точные границы автомобиля, и вы просто хотите узнатьРасположение автомобиля на изображении. Для этого типа приложений достаточно обнаружения объектов. Для современного обнаружения объектов, которое также выполняется в режиме реального времени, я бы предложил использовать YOLO , поскольку он очень быстрый и работает так же быстро, как и Raster-RNN, если не лучше.