Как решить проблему «холодного старта» в моделях глубокого обучения на основе компьютерного зрения?

Question

Под «холодным стартом» я подразумеваю, что часто модели компьютерного зрения для обнаружения объектов или семантической сегментации требуют около 5000 изображений на класс. Так что, если идея, если всплыл в компании, например. мы хотим использовать обнаружение объектов для подсчета количества бревен древесины при отправке грузовика, а затем используем то же приложение для подсчета полученного числа.

Итак, теперь проблема в том, что у вас есть только несколько изображений деревянных бревен на грузовике, но для обучения любой модели вам нужны тысячи, так что же практикующие обычно делают для этих прототипов?

Потому что на данном этапе не ясно, какую модель попробовать? Также не очень разумно просить бизнес инвестировать в сбор тысяч изображений журналов и маркировать их?

Вот почему я называю это «Холодный старт». Как начать?

Я посмотрел на условные GAN, Pix-2-Pix, но я пытаюсь понять рекомендуемый метод запуска, когда у вас очень мало изображений на класс объекта.

Я ожидаю, что, когда я уроню несколько изображений в папку и вызову эту библиотеку, я получу гораздо больше изображений для каждого класса, чтобы потом приступить к созданию прототипа.

Answer 1

Трансферное обучение - это концепция, которую вы описываете как «холодный старт».По сути, вы можете импортировать веса, полученные после тренировки, используя большой и открытый набор данных, и просто точно настроить их, используя меньший набор данных, который у вас уже есть.Увеличение данных, замораживание некоторых слоев и т. Д. Может помочь улучшить результаты тонкой настройки модели.

Answer 2

Обратите внимание, что запрос о программных библиотеках конкретно не по теме здесь.

Нет, волшебного решения не существует: если ваш набор данных не содержит достаточно информации в своих изображениях для обучения созданной вручную модели, никакое количество программного обеспечения не изменит этот факт. Однако первый подход заключается в том, чтобы оспорить этот «факт»: откуда вы знаете , что у вас недостаточно изображений? Что случилось, когда вы использовали то, что вы должны тренировать модель? Вы будете готовиться к большему количеству эпох, прежде чем модель сойдется, но вы сможете достичь гораздо большей точности, чем случайная, обучив сопоставимое количество итераций.

Я серьезно сомневаюсь, что вам нужно будет собирать и маркировать тысячи изображений: у вас очень ограниченная парадигма, фотографии бревен, сделанные с точки наблюдения, которую вы контролируете. Обучение модели для подсчета непересекающихся ближних кругов потребует гораздо меньших различий, чем, скажем, разграничение автомобилей и почтовых ящиков.

Поэкспериментируйте с базовыми моделями, которые у вас под рукой - у вас уже есть гораздо больше решений, чем вы думаете. Если ваш набор данных слишком мал, выйдите во двор с цифровой камерой и получите в два раза больше, в три раза, все, что вам нужно. Переверните изображения влево-вправо, чтобы получить больше информации.

Это заставляет вас двигаться?