Как найти семантически похожий абзац в двух разных текстовых файлах (два документа)

Question

Я нашел так много похожих вопросов, но ни один из них не ответил на мою проблему. Кто-то может мне помочь.У меня есть два юридических документа, которые мне нужно найти, которые контекстуально одинаковы или имеют одинаковое значение, каков должен быть мой подход.Я думал об использовании чего-то с LSTM везде, где я вижу, у меня есть люди, имеющие одно или два предложения для сравнения.Я хочу сделать это для большого количества документов, и выяснить, какие из них похожи, не могу понять, как начать свою задачу

Answer 1

Я думаю, вы описываете цель, стоящую за Doc2Vec.Вы можете обучить эту модель для создания векторов документов, которые можно использовать для измерения сходства.Если вы слышали о Word2Vec, это связано с этим на уровне документа.Скорее всего, вам потребуется настроить модель, чтобы она работала так, как вы этого хотите, но, по крайней мере, это хорошее начало.

Официальная документация Doc2Vec

Учебник по Doc2Vec