У меня проблемы с достижением жизнеспособных результатов с помощью маски R-CNN, и я не могу точно определить, почему.Я использую довольно ограниченный набор данных (13 изображений) больших изображений в оттенках серого (2560 x 2160), где цель обнаружения очень мала (средняя площадь 26 пикселей).Я запустил inspect_nucleus_data.ipynb для своих данных и убедился, что маски и изображения интерпретируются правильно.Я также следовал руководству вики (https://github.com/matterport/Mask_RCNN/wiki), чтобы мои изображения читались и обрабатывались как изображения в оттенках серого, а не просто конвертировали их в RGB. Вот одно из изображений с помеченными целями обнаружения.
Во время тренировок значения потерь довольно непредсказуемы, они колеблются между 1 и 2, не достигая устойчивого снижения, когда кажется, что оно сходится вообще.Я использую эти значения конфигурации в данный момент, они являются лучшими, которые я смог придумать, борясь с ошибками OOM:
Configurations:
BACKBONE resnet101
BACKBONE_STRIDES [4, 8, 16, 32, 64]
BATCH_SIZE 1
BBOX_STD_DEV [0.1 0.1 0.2 0.2]
COMPUTE_BACKBONE_SHAPE None
DETECTION_MAX_INSTANCES 450
DETECTION_MIN_CONFIDENCE 0
DETECTION_NMS_THRESHOLD 0.3
FPN_CLASSIF_FC_LAYERS_SIZE 1024
GPU_COUNT 1
GRADIENT_CLIP_NORM 5.0
IMAGES_PER_GPU 1
IMAGE_CHANNEL_COUNT 1
IMAGE_MAX_DIM 1024
IMAGE_META_SIZE 14
IMAGE_MIN_DIM 1024
IMAGE_MIN_SCALE 0
IMAGE_RESIZE_MODE square
IMAGE_SHAPE [1024 1024 1]
LEARNING_MOMENTUM 0.9
LEARNING_RATE 0.001
LOSS_WEIGHTS {'mrcnn_class_loss': 1.0, 'mrcnn_bbox_loss': 1.0, 'rpn_bbox_loss': 1.0, 'mrcnn_mask_loss': 1.0, 'rpn_class_loss': 1.0}
MASK_POOL_SIZE 14
MASK_SHAPE [28, 28]
MAX_GT_INSTANCES 450
MEAN_PIXEL [16.49]
MINI_MASK_SHAPE (56, 56)
NAME nucleus
NUM_CLASSES 2
POOL_SIZE 7
POST_NMS_ROIS_INFERENCE 1000
POST_NMS_ROIS_TRAINING 2000
PRE_NMS_LIMIT 6000
ROI_POSITIVE_RATIO 0.33
RPN_ANCHOR_RATIOS [0.5, 1, 2]
RPN_ANCHOR_SCALES (2, 4, 8, 16, 32)
RPN_ANCHOR_STRIDE 1
RPN_BBOX_STD_DEV [0.1 0.1 0.2 0.2]
RPN_NMS_THRESHOLD 0.9
RPN_TRAIN_ANCHORS_PER_IMAGE 512
STEPS_PER_EPOCH 11
TOP_DOWN_PYRAMID_SIZE 256
TRAIN_BN False
TRAIN_ROIS_PER_IMAGE 256
USE_MINI_MASK True
USE_RPN_ROIS True
VALIDATION_STEPS 1
WEIGHT_DECAY 0.0001
Я тренируюсь на всех уровнях. Вывод I 'Как правило, это выглядит так: обнаружение в виде сетки, обнаруженное в странных точках, не позволяющее точно идентифицировать ядро. Я добавил красный квадрат, чтобы выделить очень очевидный кластер ядер, которые были пропущены:
Вот двоичная маска тех же самых обнаружений, чтобы вы могли видеть их форму: 
CМожет ли кто-нибудь пролить свет на то, что здесь может пойти не так?