Я обучил модель генерации нейронных вопросов , которая дает разумные вопросы для словарного запаса, который они раздавали вместе со статьей. Я хотел запустить модель с другим набором вложений слов (например, glove.840B.300d). Я добавил только токены PAD, SOS и EOS и выбрал k наиболее часто встречающиеся слова.
Поскольку два набора вложений слов происходят из одного и того же дистрибутива (Common Crawl), я ожидал, что это будет работать достаточно хорошо. Однако полученные в результате вопросы теперь представляют собой полные бессмысленные, чрезмерно длинные предложения с большим количеством повторений. Это почти как гипотезы "застрять" с определенными словами.
Например:
Для ответа
Первые степени колледжа были присуждены в 1849 году.
Декодер выдает следующий вывод для оригинальных вложений
в каком году были присуждены первые степени колледжа?
и следующее с векторами GLoVe
он. колледж колледж в. в . в градусах в градусах в колледже 1849 в в в 1849 году из в в в 1849 году из в из из в в из из в в из из в в из из в в в в 1849 в
Что я мог делать не так? Я не изменил архитектуру вообще. Нужно ли мне? Есть ли что-то, что я должен сделать, кроме того, что я уже сделал?