Я пытаюсь реализовать обобщение seq2seq на основе преобразователя и внимания (модифицируя этот пример https://www.tensorflow.org/tutorials/text/transformer). В настоящее время моя проблема заключается в том, что сеть генерирует естественный текст (в некоторой степени), но совершенно не связанный с исходным текстом. Например:
- Оригинал:"Исходные данные: Dos país latinoamericanos, México y Brasil, aparecen en la lista de las 13 naciones que encabezan el Índice Global de Impunidad 2019 divulgado este martesПо эль Comité para la Protección de los Periodistas (CPJ). "
- Оригинальный перевод (мой): " Две латиноамериканские страны, Мексика и Бразилия, фигурируют в списке 13 стран, которыеГлава Глобального индекса безнаказанности за 2019 год, опубликованный в этот вторник Комитетом по защите журналистов. "
- Сгенерированное предложение: " Elige un lugar para la cabeza y una buena calidad "
- Сгенерированное предложение перевода (мое): «Выберите место для головы и хорошего качества»
Что можно добавить к этой модели, чтобы генератор оставался хотя бы по теме?