Как научить мою модель рисовать ограничивающую рамку вокруг текста, присутствующего на изображении?

Question

Я пытаюсь нарисовать bounding_box вокруг изображения.У меня есть другая модель для прогнозирования класса обнаруженного текста.Везде реализация yolo основана на предсказании ограничивающего прямоугольника + класса.Таким образом, функция потерь, которую они определили, является потерей для предсказания класса, уверенности и вероятности данного класса.Я просто хочу, чтобы моя функция потерь определялась только в рамках ограничивающей рамки.Пожалуйста, предложите мне, как это сделать, или предложите мне прочитать несколько статей.

Answer 1

Таким образом, определенная ими функция потерь является потерей для предсказания класса, достоверности и вероятности данного класса.

На самом деле функция потерь YOLO состоит из

1. классификационные потери
2. локализационные потери (ошибки между предсказанной граничной рамкой и наземной истинностью)
3. потеря доверия (объектность коробки).

https://medium.com/@jonathan_hui/real-time-object-detection-with-yolo-yolov2-28b1b93e2088

Если вы ищете точность только для ограничительной рамки , тото, что вы хотите, называется mAP (средняя точность) .Чтобы понять, как рассчитывается mAP, новичку в обнаружении объектов потребуется некоторое время, поэтому я просто добавлю хорошую ссылку для дальнейшего изучения https://medium.com/@jonathan_hui/map-mean-average-precision-for-object-detection-45c121a31173.

Если вы хотите визуализировать mAP длясвою модель YOLO во время обучения, вы можете использовать этот популярный репозиторий github, созданный AlexeyAB https://github.com/AlexeyAB/darknet.

Например, вы можете тренировать свою модель, введя флаг -map следующим образом:

./darknet detector train data/obj.data yolo-obj.cfg darknet53.conv.74 -map 

Будет сгенерирована приведенная ниже таблица, а красная линия указывает на карту MAP, а синяя линия указывает на среднюю потерю вашей обученной модели.

Наконец, после тренировки, вы можете проверить, какие веса лучше для вас (проверка значения mAP)

./darknet detector map data/obj.data yolo-obj.cfg backup\yolo-obj_7000.weights

Автор этого репо пишет все в своем репозитории github, поэтому, пожалуйста, найдите время, чтобы прочитать все необходимые вам шаги.

Дополнительная информация
Я также делаю то же самое, что и вы для моего текущего проекта.Я использую YOLO только для обнаружения объекта и рисования ограничивающей рамки.Но для классификации я использую другую модель CNN.