Расстояние Левенштейна на неанглийских струнах

Question

Будет ли алгоритм Левенштейновского расстояния хорошо работать и для неанглийских строк?

Обновление : Будет ли это работать автоматически на языке, подобном Java, при сравнении азиатских символов?

Answer 1

Только если язык основан на букве. Например русский, немецкий, ... но иероглиф (например, Китай) или слог (например, Лаос) - нет.

Answer 2

Да. Но вы должны обрабатывать неанглийские символы как «1 символ», а не как несколько символов (например, с utf-8). Например, в python вы должны использовать класс unicode для представления строки (и символов).

Answer 3

Левенштейну нет дела до языков, он просто говорит, сколько символов нужно изменить (добавить, удалить, обменять), чтобы перейти от одной строки к другой.

Итак: да, но вам придется проверить свою кодировку, некоторые иностранные «одиночные» символы могут рассматриваться как два (или более) символа.