Я пытаюсь создать прогностическую модель, в которой модель сообщает, является ли данное предложение правильным или нет, проверяя порядок слов в предложении. Модель проверяет погоду в определенной последовательности слов, которая уже произошла в огромном корпусе, и имеет смысл или нет.
Я попытался сделать это с моделью word2vec и удалил косинусное сходство или расстояние ОМУ двух предложений, но это дает только сходство, основанное на сходстве вектора слов, а не последовательности слов.
Так что, если мы дадим ввод в виде 2 предложений:
Предложение 1- "Я иду в магазин"
Предложение 2 - "Я иду в магазин"
вывод должен указывать, что предложение является недействительным или имеет сходство 20% или менее
В то время как модель word2vec показывает 100% сходство, поскольку введенные слова одинаковы, независимо от порядка. Поэтому я думаю, что это не может быть использовано для сравнения порядка слов. Любые другие предложения также могут быть очень полезны.