Как использовать граничные блоки с изображениями для обучения изображений с несколькими метками?

Question

Я работаю над машинным обучением для классификации изображений, и мне удалось успешно выполнить несколько проектов. Все проекты имели изображения, которые всегда принадлежат одному классу. Теперь я хочу попробовать изображения с несколькими метками на каждом изображении. Я прочитал, что я должен нарисовать прямоугольники (рамки) вокруг изображений для обучения. Мой вопрос:

1. Нужно ли обрезать эти области в отдельные изображения и использовать их, как и раньше, для тренировок?
2. Рисованные прямоугольники используются только для обрезки?
3. Или мы действительно подаем исходные изображения и координаты прямоугольника (вверху слева [X, Y], ширина и высота) для обучения?

Любые учебники по материалам, связанным с этим приветствуются.

Answer 1

По сути, вам нужно обнаружить различные объекты на изображении, которые принадлежат к разным классам. Вот где Обнаружение объекта появляется на картинке.

Обнаружение объектов пытается классифицировать метки для различных объектов на изображении, а также прогнозировать ограничивающие рамки.

Существует множество алгоритмов обнаружения объектов. Если вы опытный пользователь TensorFlow, вы можете напрямую использовать API обнаружения объектов TensorFlow . Вы можете выбрать нужную архитектуру и подать аннотации вместе с изображениями.

Чтобы комментировать изображения (рисовать ограничивающие рамки вокруг блоков и хранить их отдельно), вы можете использовать инструмент LabelImg .

Вы можете обратиться к этим блогам:

1. Создание собственного детектора объектов
2. Пошаговое введение вбазовые алгоритмы обнаружения объектов

Вместо обучения совершенно нового детектора объекта, вы можете использовать предварительно подготовленный детектор объекта. Модель TensorFlow Object Detection *1029* может классифицировать 80 объектов. Если объекты, которые вам нужно классифицировать, включены в эти объекты, то вы получите готовую модель. Модель рисует ограничивающую рамку вокруг интересующего вас объекта.

Вы можете обрезать эту часть изображения и построить на ней классификатор в соответствии с вашими потребностями.