Трансферное обучение: различия в маркировке

Question

Я только что смотрел видео о трансферном обучении (тренировка модели на большом аналогичном наборе данных, если ваш набор данных небольшой). Меня смущает, что разные метки набора данных не мешают обучению при передаче.

Я понимаю, что трансферное обучение обычно используется, если для вашей целевой задачи имеется только небольшой объем данных (назовем это Dataset A) (скажем, размытые фотографии кошек), но большой набор данных, который имеет аналогичные данные (назовем это Dataset B, набор профессионально сделанных и не размытых фотографий волков) и функция нижнего уровня которых может быть использована при обучении Dataset A (интуиция заключается в том, что обнаружение того же края и кривой / другие функции более низкого уровня помогают обнаруживать волков) с Dataset B также может помочь в обнаружении кошек с Dataset A). Из того, что я понимаю, вы сначала обучите нейронную сеть на Dataset B, затем установите веса последних слоев случайным образом, и, оставив все остальные параметры постоянными, перенастройте на Dataset A. Но, учитывая, что схема меток для Dataset B будет для волков, а метки для Dataset A на кошках, не вызовет ли проблема различие в маркировке?

Answer 1

Ваше понимание верно в какой-то момент. Вы не обязательно просто устанавливаете «веса последних слоев в случайном порядке» перед переподготовкой. Но это больше похоже на обрезку последнего слоя и замену его другим новым слоем.

Это означает, что у вас могут быть разные типы и разное количество выходов для вашей сети, что позволяет использовать разные номера и типы меток во время переподготовки.

Примечание: Tensorflow называет это «просто обучить новый слой классификации сверху». Подробнее об этом и хорошем учебнике, чтобы понять идеи, можно найти здесь .