Transfer Learning совершенно другой предмет и задача

Question

Я читал некоторые статьи и сообщения в блоге на Transfer Learning . Я понял, что некоторые говорят «разные», а другие - «разные, но похожие». Теперь я в замешательстве.

Скажи это,

D является доменом. T является задачей.
a является источником, следовательно, исходный домен - Da, а исходная задача - Ta.
a' отличается, но похож на.
b отличается от
Ms - исходная модель, извлеченная из Da и Ta.
Mt является целевой моделью.

В какой целевой комбинации домен-задача Ms может передать свои знания Mt?

1. (Da, Tb)
2. (Db, Ta)
3. (Da', Tb)
4. (Db, Ta')
5. (Da', Ta)
6. (Da, Ta')
7. (Da', Ta')
8. (Db, Tb)

Честно говоря, я знаю, что 5, 6, 7 возможны, так как в газете так сказано. И я сомневаюсь, что 8 сработает (не так ли?).

Но как насчет 1, 2, 3, 4, где домен или задача b?

Answer 1

Зависит от того, насколько различаются исходный и целевой домены. Если исходный и целевой домены не имеют сходства, вы не сможете улучшить свою модель для задачи в целевом домене, предварительно обучившись в домене задач. Однако, если есть сходства, например, любой домен изображений практически к любому другому домену изображений, и ваш набор данных исходного домена большой, перенос вашей модели из исходного домена в целевой домен может помочь упорядочить вашу модель и улучшить обобщение в целевом домене. Особенно, если набор данных целевого домена мал.

При глубоком обучении вы хотите переинициализировать (переобучаться со случайных весов) больше слоев (сверху вниз) и выполнять более тонкую настройку в зависимости от того, насколько различны ваш исходный и целевой домены, а также исходные и целевые задачи.

Answer 2

Что такое "домен"?

В области обработки естественного языка (NLP) проводится множество исследований по адаптации доменов, и вы можете получить некоторую выгоду во всех описанных вами случаях (# 1- # 8) в отношении того, что NLP называет "различными доменами". "- например текст новостной ленты против текста твита против текста отчета по клинической радиологии; да, даже в # 8.

Однако вы можете иметь более разных «доменов» (которые на самом деле не называются доменами ИМХО) - например, текст на английском языке против текста на китайском языке; или английский текст против английских аудиозаписей. Можно сделать некоторые передачи обучения даже в этих случаях, но гораздо более ограниченным; так что это действительно зависит от того, где вы проведете границу между «это другой домен» и «это совершенно другой тип входных данных».