Какую модель использовать для генерации предложений по ключевым словам - PullRequest
0 голосов
/ 23 января 2020

У меня есть несколько ключевых слов, не обязательно в последовательном порядке. Я хочу генерировать предложения из них. Я пытаюсь использовать модели seq2seq. Но, поскольку ключевые слова не в порядке, следовательно, все, что я могу сделать, это извлечь максимальные / средние характеристики, используя сверточные слои для подготовки векторов мыслей, а затем передать их в LSTM / RNN / GRU для генерации предложений. Но поскольку сверточные сети предполагают локальный, но некоторый порядок, следовательно, я не думаю, что это хорошая идея. Поэтому я ищу некоторые предложения для модели, которая может принимать несколько ключевых слов и не предполагает какой-либо последовательности для подготовки хорошего вектора мысли.

PS: - Я рассмотрел объединение встраивания ключевых слов и прохождение их через простой ANN, состоящий из 2 линейных слоев для подготовки векторов мысли. Это помогало мне всякий раз, когда я использовал принуждение учителя и это тоже в данных обучения. Кроме того, я рассмотрел (но не реализовал) обучение с помощью состязательных методов, помещая вложения предложений как реальные образцы и встраивания, генерируемые из ключевых слов с использованием некоторого генератора, и пропуская их через дискриминатор. Я хочу знать, хорошая ли это идея или нет.

Спасибо за любую помощь заранее.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...