Как обучить пользовательский детектор ключевых точек для оценки позы дрона. Detectron2

Question

Поскольку я не мог найти ответа в другом месте, я решил описать здесь свою проблему. Я пытаюсь создать детектор ключевых точек для Eachine TrashCan Drone для оценки его позы . Я следил за некоторыми уроками. Первый был с TensorFlow ObjectDetectionAPI, и поскольку я не смог найти с его помощью решения, я попытался использовать detectron2 . Все было в порядке, пока мне не потребовалось зарегистрировать собственный набор данных для переобучения модели.

Я запускаю код в Google Colab и использую coco-annotator для создания аннотаций (https://github.com/jsbroks/coco-annotator/)

Я не думаю, что я неправильно аннотировал свой набор данных, но кто знает, я покажу в гиперссылке ниже, чтобы немного представить его вам: Изображение с аннотациями, сделанными мной

Я использовал этот код для регистрации данных:

from detectron2.data.datasets import register_coco_instances
register_coco_instances("TrashCan_train", {}, "./TrashCan_train/mask_train.json", "./TrashCan_train")
register_coco_instances("TrashCan_test", {}, "./TrashCan_test/mask_test.json", "./TrashCan_test")

Этот код не выдает мне ошибки, но когда я пытаюсь начать процесс обучения с этим кодом:

from detectron2.engine import DefaultTrainer

cfg = get_cfg()
cfg.merge_from_file(model_zoo.get_config_file("COCO-Keypoints/keypoint_rcnn_R_50_FPN_3x.yaml"))
cfg.DATASETS.TRAIN = ("TrashCan_train",)
cfg.DATASETS.TEST = ("TrashCan_test")
cfg.DATALOADER.NUM_WORKERS = 2
cfg.MODEL.WEIGHTS = ("detectron2://COCO-Keypoints/keypoint_rcnn_R_50_FPN_3x/137849621/model_final_a6e10b.pkl")  # Let training initialize from model zoo
cfg.SOLVER.IMS_PER_BATCH = 2
cfg.SOLVER.BASE_LR = 0.00025  # pick a good LR
cfg.SOLVER.MAX_ITER = 25    # 300 iterations seems good enough for this toy dataset; you may need to train longer for a practical dataset
cfg.MODEL.ROI_HEADS.BATCH_SIZE_PER_IMAGE = 128   # faster, and good enough for this toy dataset (default: 512)
cfg.MODEL.ROI_HEADS.NUM_CLASSES = 1  # liczba klas

os.makedirs(cfg.OUTPUT_DIR, exist_ok=True)
trainer = DefaultTrainer(cfg) 
trainer.resume_or_load(resume=False)
trainer.train()

Я получаю следующее:

WARNING [07/14 14:36:52 d2.data.datasets.coco]: 
Category ids in annotations are not in [1, #categories]! We'll apply a mapping for you.

[07/14 14:36:52 d2.data.datasets.coco]: Loaded 5 images in COCO format from ./mask_train/mask_train.json

---------------------------------------------------------------------------

KeyError                                  Traceback (most recent call last)

<ipython-input-12-f4f5153c62a1> in <module>()
     14 
     15 os.makedirs(cfg.OUTPUT_DIR, exist_ok=True)
---> 16 trainer = DefaultTrainer(cfg)
     17 trainer.resume_or_load(resume=False)
     18 trainer.train()

7 frames

/usr/local/lib/python3.6/dist-packages/detectron2/data/datasets/coco.py in load_coco_json(json_file, image_root, dataset_name, extra_annotation_keys)
    183             obj["bbox_mode"] = BoxMode.XYWH_ABS
    184             if id_map:
--> 185                 obj["category_id"] = id_map[obj["category_id"]]
    186             objs.append(obj)
    187         record["annotations"] = objs

KeyError: 9

Здесь вы можете скачать мои файлы:

https://github.com/BrunoKryszkiewicz/EachineTrashcan-keypoints/blob/master/TrashCan_Datasets.zip

и где Вы найдете мою записную книжку Colab:

https://colab.research.google.com/drive/1AlLZxrR64irms9mm-RiZ4DNOs2CaAEZ9?usp=sharing

Я создал такой небольшой набор данных, потому что, прежде всего, я хотел go бросить процесс обучения . Если мне удастся это сделать, я увеличу свой набор данных.

Теперь я даже не уверен, можно ли переобучить модель ключевых точек человека для получения ключевых точек похожего на дрон объекта или любого другого. Я должен сказать, что я новичок в topi c, поэтому прошу вашего понимания. Если вы знаете какие-либо руководства по созданию пользовательского (не человеческого) детектора ключевых точек, я буду благодарен за любую информацию.

С уважением!

Answer 1

Добро пожаловать в stackoverflow!

Сразу же я могу заметить некоторые различия между вашим json файлом и способом описания набора данных COCO здесь на официальном сайте coco. Некоторые клавиши излишни, например, «цвета ключевых точек». Однако по моему опыту с detectron2 лишние ключи игнорируются и не представляют проблемы.

Фактическое сообщение об ошибке, которое вы получаете, связано с тем, что у вас есть аннотации с category_id, что detectron's сопоставление не учитывает.

В разделе «категории» вашего файла mask_test.json есть только 1 категория, но у вас есть 2 аннотации, одна с category_id = 9, а другая с category_id = 11.

Что делает detectron2 , это подсчитывает количество категорий в поле категорий поля json и, если они не пронумерованы от 1 до n он генерирует собственное сопоставление, в вашем случае он преобразует 11 (ваш текущий идентификатор) в 1 (как в аннотациях, , так и в категориях поля), но не знает, что делать с аннотация, имеющая категорию 9. И это вызывает сообщение об ошибке в строке 185 obj["category_id"] = id_map[obj["category_id"]], потому что просто нет сопоставления от 9 с чем-либо.

Следует отметить, что НАСКОЛЬКО Я МОГУ СКАЗАТЬ * 10 32 * (было бы неплохо спросить, как это сделать на странице github detectron2) вы не можете обучить обнаружение ключевых точек с помощью нескольких «классов» ключевых точек с помощью detectron2

В любом случае решение вашей проблемы довольно простое , просто укажите одну категорию с id: 1 в поле категории и запишите изменение category_id всего в поле аннотаций на 1. И запустите обучение

РЕДАКТИРОВАТЬ : вам также нужно будет изменить несколько других config на в cfg, чтобы это работало. А именно TEST.KEYPOINT_OKS_SIGMAS = sigmas_used_for_evaluation_per_keypoint MODEL.ROI_KEYPOINT_HEAD.NUM_KEYPOINTS = number_of_keypoints_in_your_category И, кроме того, вам нужно иметь keypoint_flip_map, keypoint_names и keypoint_connection_rules в метаданных вашего набора данных. Чтобы установить это, вы можете использовать MetadataCatalog.get('name_of_your_set').set(obj), где obj будет вашими метаданными, описанными выше