Существуют ли методы глубокого изучения сходства строк в машинном переводе?

Question

Я заинтересован в машинном переводе и более конкретно, я хотел бы изучить сходство между двумя строками.Я хотел бы знать, существуют ли методы глубокого изучения для извлечения текстовых функций.Я уже попробовал известные методы статистики, такие как косинусное сходство, расстояние Левенштейна, частота слов и другие.

Спасибо

Answer 1

Чтобы найти сходство между двумя строками, попробуйте обучить сиамские сети в вашем наборе данных

сиамские сети - это особый тип архитектуры нейронных сетей.Вместо того, чтобы учиться моделировать входные данные, нейронные сети учатся различать два входа.Он узнает сходство между ними.

https://medium.com/@gautam.karmakar/manhattan-lstm-model-for-text-similarity-2351f80d72f1

Ниже приведена ссылка на соревнования по стычкам, они использовали сиамские сети для схожести текста

https://medium.com/mlreview/implementing-malstm-on-kaggles-quora-question-pairs-competition-8b31b0b16a07

Надеюсь, это прояснит ваши сомнения