Как обучить модель в Tensorflow для обнаружения объектов нескольких классов с использованием большого набора данных MS COCO?

Question

Я пытаюсь обучить свою модель на пользовательском наборе данных, используя этот https://github.com/tensorflow/models/tree/master/research/object_detection в качестве ссылки. В основном у меня настольный компьютер Acer Nitro 50 с конфигурацией системы Процессор: Intel® Core ™ i5-8400 CPU @ 2,80 ГГц × 6, Графика: GeForce GTX 1050 / PCIe / SSE2 (2 ГБ), Память (RAM): 8 ГБ Память DDR4

Я работаю с tenorflow 1.12.0 gpu | базель 0.15.0 | python 3,5 | G CC 4.8 | cudnn 7 | Cuda 9.0 для обучения модели Fast_rcnn_inception_v2_coco на моем настраиваемом наборе данных ms coco с 10,4 ГБ (65000 изображений) обучающих данных и 533,4 МБ (3300 изображений) данных проверки для обнаружения объектов в течение 200 тыс. Эпох (num_steps, он будет обучаться с разрешением 600 x 1024 по умолчанию разрешение, которое устанавливается в быстрее_rcnn_inception_v2_coco ). Обучаю и проверяю модель на 8 классах. Поэтому, когда я обучаю модель, точность (карта) не увеличивается, и потери не уменьшаются через некоторое время. После успешного завершения обучения я запустил модель на различных изображениях и заметил несколько вещей. У меня есть пара вопросов

1. Меньшая точность
2. На некоторых изображениях объекты вообще не обнаруживаются без ограничивающих рамок. в то время как в некоторых мультиклассах обнаружение объектов происходит точно, все объекты обнаруживаются, но с меньшей точностью около 60-75.
3. Из второго пункта выше Если я тренирую отдельную модель с меньшим количеством изображений и меньшим количеством классов (3 или 4) работает хорошо, но с приличной точностью около 75 - 95

Как вы можете видеть на изображениях выше, моя модель не обучается эффективно, общие потери и скорость обучения несовместимы. Следовательно, карта не поднимается вверх, что снижает точность. Было бы очень полезно, если бы кто-нибудь мог направить меня. Я пытаюсь разобраться в этой проблеме некоторое время. Я не получаю никаких ошибок или предупреждений.

Вот изменения, необходимые для обучения модели, в файле fast_rcnn_inception_v2.config

# Faster R-CNN with Inception v2, configuration for MSCOCO Dataset.
# Users should configure the fine_tune_checkpoint field in the train config as
# well as the label_map_path and input_path fields in the train_input_reader and
# eval_input_reader. Search for "PATH_TO_BE_CONFIGURED" to find the fields that
# should be configured.
model {
  faster_rcnn {
    num_classes: 8
#Default configuration for image_resizer no changes made in this function
    image_resizer {
      keep_aspect_ratio_resizer {
        min_dimension: 600
        max_dimension: 1024
      }
    }
    feature_extractor {
      type: 'faster_rcnn_inception_v2'
      first_stage_features_stride: 16
    }
    first_stage_anchor_generator {
      grid_anchor_generator {
        scales: [0.25, 0.5, 1.0, 2.0]
        aspect_ratios: [0.5, 1.0, 2.0]
        height_stride: 16
        width_stride: 16
      }
    }
    first_stage_box_predictor_conv_hyperparams {
      op: CONV
      regularizer {
        l2_regularizer {
          weight: 0.0
        }
      }
      initializer {
        truncated_normal_initializer {
          stddev: 0.01
        }
      }
    }
    first_stage_nms_score_threshold: 0.0
    first_stage_nms_iou_threshold: 0.7
    first_stage_max_proposals: 300
    first_stage_localization_loss_weight: 2.0
    first_stage_objectness_loss_weight: 1.0
    initial_crop_size: 14
    maxpool_kernel_size: 2
    maxpool_stride: 2
    second_stage_box_predictor {
      mask_rcnn_box_predictor {
        use_dropout: false
        dropout_keep_probability: 1.0
        fc_hyperparams {
          op: FC
          regularizer {
            l2_regularizer {
              weight: 0.0
            }
          }
          initializer {
            variance_scaling_initializer {
              factor: 1.0
              uniform: true
              mode: FAN_AVG
            }
          }
        }
      }
    }
    second_stage_post_processing {
      batch_non_max_suppression {
        score_threshold: 0.0
        iou_threshold: 0.6
        max_detections_per_class: 100
        max_total_detections: 300
      }
      score_converter: SOFTMAX
    }
    second_stage_localization_loss_weight: 2.0
    second_stage_classification_loss_weight: 1.0
  }
}

train_config: {
  batch_size: 1
  optimizer {
    momentum_optimizer: {
      learning_rate: {
        manual_step_learning_rate {
          initial_learning_rate: 0.0002
          schedule {
            step: 900000
            learning_rate: .00002
          }
          schedule {
            step: 1200000
            learning_rate: .000002
          }
        }
      }
      momentum_optimizer_value: 0.9
    }
    use_moving_average: false
  }
  gradient_clipping_by_norm: 10.0
  fine_tune_checkpoint: "models/model.ckpt"
  from_detection_checkpoint: true
  # Note: The below line limits the training process to 200K steps, which we
  # empirically found to be sufficient enough to train the COCO dataset. This
  # effectively bypasses the learning rate schedule (the learning rate will
  # never decay). Remove the below line to train indefinitely.
  num_steps: 200000
  data_augmentation_options {
    random_horizontal_flip {
    }
  }
}

train_input_reader: {
  tf_record_input_reader {
    input_path: "data/dataset_tools_train.tfrecord"
  }
  label_map_path: "data/label.pbtxt"
}

eval_config: {
  num_examples: 3300
  # Note: The below line limits the evaluation process to 10 evaluations.
  # Remove the below line to evaluate indefinitely.
  max_evals: 10
}

eval_input_reader: {
  tf_record_input_reader {
    input_path: "data/dataset_tools_val.tfrecord"
  }
  label_map_path: "data/dataset_tools_val.tfrecord"
  shuffle: false
  num_readers: 1
}