Вложение слова в слово - PullRequest
0 голосов
/ 03 июня 2018

Я использую предварительно обученные встроенные векторы на основе GloVe для слов в моих предложениях I / P для NMT-подобной модели.Затем модель генерирует серию вложений слов в качестве выходных данных для каждого предложения.

Как можно преобразовать эти вложения выходных слов в соответствующие слова?Один из способов, которые я попробовал, - использовать косинусное сходство между каждым выходным вектором встраивания и всеми векторами встраивания i / p.Есть ли лучший способ, чем этот?

Кроме того, есть ли лучший способ приблизиться к этому, чем использование векторов встраивания?

1 Ответ

0 голосов
/ 23 августа 2018

Прежде всего, в этом вопросе не хватает многих деталей, таких как библиотека, используемая для встраивания слов, характер модели, данные обучения и т. Д. Но я постараюсь дать вам представление о том, что вы можете сделать.в этих ситуациях, если вы используете какую-то библиотеку для встраивания слов, например Gensim .

Как получить слово из вектора : здесь мы имеем дело с предсказанными векторами слов, поэтому наш вектор слов может не быть точным вектором исходного слова, мы должны использовать сходство, в Gensim вы можете использовать Similar_by_vector , что-то вроде

target_word_candidates = similar_by_vector(target_word_vector,top=3)

Это решило быпроблема обратного просмотра, как выделено здесь , учитывая все векторы слов, как получить наиболее похожее слово, но нам нужно найти лучшее отдельное слово в соответствии с контекстом.

Вы можете использоватькакая-то постобработка на выходных целевых векторах слов, это было бы полезно для решения некоторых проблем, таких как:

1.Как направлять переводИон вне словарных терминов?

2. Как обеспечить наличие данной рекомендации по переводу в выходных данных декодера?

3.Как разместить эти слова в правильном положении?

Одна из идей заключается в использовании внешнего ресурса для целевого языка, то есть языковой модели, чтобы предсказать, какая комбинацияслов будут использованы.Некоторые другие методы включают внешние знания внутри самой сети перевода

...