Lucene имеет анализаторы для широкого спектра языков.Конечно, это работает, только если вы знаете, на каком языке написан каждый документ: либо дайте им языковой тег, либо используйте guesser .
(хотя, если вы хотите сделатьбоязнь языкового поиска с машинным переводом, вы боитесь сами.)