Пакетная структура для обучения модели ранжирования с контрастной потерей?

Question

Как мне выбрать свою партию, если я тренирую модель с высоким рейтингом, например, потеря контраста где у меня на запрос 1 положительный документ и 2 отрицательных образца?

Итак, речь идет о рейтинге (потере), к которому относится, например. данные пары вопросов о кворе или любые другие пары вопросов / ответов, которые я хочу ранжировать, используя модель ранжирования с глубоким обучением или просто сиамскую сеть.

Данные будут выглядеть так: https://github.com/NTMC-Community/MatchZoo/blob/master/matchzoo/datasets/toy/train.csv

Теперь я предполагаю, что крайне важно, как создать пакет, верно? Поскольку для каждого вопроса все соответствующие положительные и отрицательные ответы должны содержаться внутри пакета, верно?

Answer 1

Различные стратегии могут быть использованы для построения пакетов и триплетов или пар.Обычно партии создаются случайным образом, а затем выбирается самый тяжелый негатив или один из самых тяжелых негативов в пакете.

Так что да, примеры позитива и негатива должны быть объединены внутри пакета.И очень важно выбрать негативы.Но обычно прилагаются усилия, чтобы выбрать правильные негативы внутри партии, а не создавать партии определенным образом.Этот пост, объясняющий, как работает ранжирование потерь, может быть полезным https://gombru.github.io/2019/04/03/ranking_loss/