Обучение CNN на небольших подмножествах для выбора архитектуры

Question

Знаете ли вы, возможно ли использовать очень маленькое подмножество моих обучающих данных (например, только 100 или 500 экземпляров), чтобы быстро обучить очень грубую сеть CNN для сравнения различных архитектур, а затем выбрать наиболее эффективную?

Когда я говорю «возможно», я имею в виду, есть ли доказательства того, что применение такой стратегии выбора работает, и что выбранная сеть будет последовательно превосходить другую для этой конкретной задачи c.

Спасибо,

Для информации, рассматриваемый проект будет состоять из двух этапов CNN для классификации многоканальных временных рядов. Первая CNN будет прогнозировать входные данные в течение следующего периода времени, затем вторая CNN будет использовать этот прогноз и классифицировать результаты по двум категориям.

Answer 1

Процедура, о которой вы говорите, фактически используется на практике. При настройке гиперпараметров многие люди выбирают для этого подмножество всего набора данных.

Является ли лучшая архитектура в подмножестве обязательно лучшей в полном наборе данных? NO ! Тем не менее, это лучшее предположение , которое у вас есть, и поэтому оно полезно.

---

Несколько замечаний по вашему вопросу:

1. 100-500 экземпляров крайне низко ! CNN все еще должен быть обучен. Когда мы говорим subset , мы обычно имеем в виду десятки тысяч изображений (из миллионов наборов данных). Если в вашем наборе данных меньше 50000 изображений, зачем вам подмножество? Тренируйтесь по всему набору данных.

2. Вопреки тому, во что верят многие, детали архитектуры имеют незначительное значение для эффективности классификации. Некоторые из упомянутых вами гиперпараметров (например, размер ядра) имеют второстепенное значение. Ключевыми вещами, на которые вы должны обратить внимание, являются глубина, размер слоев, использование пулов / пропустить соединения / пакетная норма / выпадение и т. Д. c.