Можно ли использовать небольшой набор данных с многочисленными экземплярами объектов на каждом изображении для обучения обнаружению / сегментации объектов?

Question

Например, если я пытался обнаружить (и сегментировать) людей на изображении «Где Уолдо» (изображение, содержащее сотни людей на каждом изображении) и пометить каждого человека в зависимости от цвета рубашки, которую он носит Достаточно ли будет небольшого набора данных (всего 10-100 изображений для обучения и проверки), потому что на каждом изображении имеется так много экземпляров этих "объектов" (если я использую предварительно обученные веса из COCO)? Важно ли иметь большой набор данных (> 1000 изображений) для этих случаев (при условии, что вы используете какой-либо алгоритм обнаружения-сегментации, такой как маска R-CNN)?

Еще одна перспектива, с которой вы можете взглянуть на вопрос:

Что важнее: количество изображений, на которых вы тренируете свой алгоритм сегментации, или количество экземпляров обнаруживаемых объектов на протяжении всего набора данных?

Answer 1

Хороший вопрос. Если вы представляете, что это цветовая сегментация (плюс кластеризация поверх нее для обнаружения «объектов»), вы можете избежать меньшего количества изображений, поскольку кластеры («люди») обычно различны.

Я бы также рекомендовал включать приоры вместо простой подачи данных (поскольку у вас меньше данных). Как работает цветовая сегментация с использованием моделей гауссовой смеси? Как работают методы кластеризации, такие как инкрементные GMM? Если они не работают, вы можете попробовать объединить их с методами глубокого обучения. В общем, меньше данных = включение априоров для выполнения работы!