Маска сегментации RCNN и FPN - PullRequest
Новая
       57

Маска сегментации RCNN и FPN

0 голосов
/ 11 мая 2018

Я читаю статью https://research.fb.com/wp-content/uploads/2017/08/maskrcnn.pdf из исследования Facebook.

Маска RCNN основана на детекторе Faster RCNN, но с некоторыми улучшениями, такими как FPN (Feature Pyramid Network), выравнивание ROI, которое кажется более точным, чем, например, объединение ROI.Но я не понимаю архитектуру, касающуюся FPN и маски в маске RCNN.Фактически, FPN позволяет получать карту объектов в разных масштабах, но, глядя на изображение на бумаге, я не понимаю, использовали ли они только последнюю карту объектов на FPN или нет.

enter image description here

Итак, вопрос в том, используем ли мы только последнюю карту объектов RPN, а затем используем несколько слоев для предсказания маски (для сегментации) или же мы используем промежуточныйслои РПН?

1 Ответ

0 голосов
/ 30 мая 2018

FCN в ветви маски в маске R-CNN использует все карты характеристик, созданные FPN.
Вот одна из таких реализаций маски R-CNN.Вот фрагмент из кода: 

# Attach 3x3 conv to all P layers to get the final feature maps.
P2 = KL.Conv2D(256, (3, 3), padding="SAME", name="fpn_p2")(P2)
P3 = KL.Conv2D(256, (3, 3), padding="SAME", name="fpn_p3")(P3)
P4 = KL.Conv2D(256, (3, 3), padding="SAME", name="fpn_p4")(P4)
P5 = KL.Conv2D(256, (3, 3), padding="SAME", name="fpn_p5")(P5)
# P6 is used for the 5th anchor scale in RPN. Generated by
# subsampling from P5 with stride of 2.
P6 = KL.MaxPooling2D(pool_size=(1, 1), strides=2, name="fpn_p6")(P5)

# Note that P6 is used in RPN, but not in the classifier heads.
rpn_feature_maps = [P2, P3, P4, P5, P6]
mrcnn_feature_maps = [P2, P3, P4, P5]  <--------------


Это - это строка, где автор использовал карты характеристик FPN.

...