Обнаружить повернутые изображения автомобиля

Question

Я хочу повернуть изображения своего автомобиля (на 90, 180 или 270 градусов) в правильное положение.
Я использовал гипотезу, которая заключается в следующем: повернуть изображение на 4 угла (0, 90, 180, 270) и присвойте каждому объект обнаружения Neural Net, угол, который дает наибольшую оценку достоверности объекта автомобиля, будет углом, который я должен использовать для поворота моего изображения.
Проблема в том, что некоторые изображения с поворотом на 180 дают лучший результат чем оригинал, потому что NN по ошибке обнаружил, что дорога с двумя колесами - это автомобиль. Например:
Исходное изображение
Повернутое изображение, но получить лучший результат

Как я могу предотвратить это?
Мой модель: ssd_resnet_50_fpn_coco из модель зоопарка
Вот некоторые другие случаи сбоя:
1 2 введите описание изображения здесь

Answer 1

Найдите колеса на картинке и определите, находятся ли их центры над или под коробкой автомобиля.

Answer 2

Я нашел решение, которое немного сложнее.
Во-первых, я создал модель (например, SSD), которая будет определять 4 класса, которые являются углом поворота изображения, то есть: class1 - 0 градусов, class2 - 90 градусов, и т. Д. c.
Затем модель найдет 2 метки правильно из 4: 0 и 180. Если метка натолкнулась на 90 или 270 (которые иногда распознаются как друг друга), я поверну снова с 90 градусами, и пусть модель предскажет, какая их метка находится между 0 и 180. После этого я вычту градус с 90 градусами, чтобы получить правильную метку.