Получение процента сходства двух текстов

Question

Мне нужно получить оценку сходства между текстами, когда один находится внутри второго.

Например:

Text1: aaa bbb ccc ddd eee
Text2: bbb ccc

Мне нужно что-то, что говорит мне, что Text2на 100% внутри Text1.Есть ли способ сделать это?

Answer 1

В зависимости от того, что вы хотите, вы можете попробовать

• длина самой длинной общей подпоследовательности обоих текстов, разделенная на длину текста2
• или длину самой длинной смежной подпоследовательности обоих текстов, также разделеннаябыть длина текста2

Оба даст вам 1, если текст полностью внутри text1 и 0, если они не имеют общего символа.

Answer 2

См. Книгу Добыча массивов массивных данных и Определение сходства Деканга Линя (PDF) .Оба не требуют Lucene.

Answer 3

Вы не Lucene, чтобы получить сходство между текстами. Существует несколько доступных мер в зависимости от длины текста, типа строк и т. Д., И вам нужно будет поэкспериментировать, чтобы получить наилучшие результаты.

AОчень хорошая и всеобъемлющая коллекция алгоритмов доступна на SimMetrics - это библиотека F / OSS, которая предлагает обширную коллекцию алгоритмов подобия и соответствующих им функций стоимости.