Как я могу определить язык ввода пользователя, используя Ruby, не используя онлайн-сервис?

Question

Я ищу библиотеку или технику для определения языка ввода блоков текста, предоставленных пользователями.Онлайн-поиск (например, перевод Google) не будет работать для этой задачи, поскольку я пишу приложение, которое должно работать в автономном режиме.

Спасибо.

Answer 1

Вот еще два n-грамма драгоценных камня, которые вы можете попробовать. Они работают в автономном режиме.

• https://github.com/echen/unsupervised-language-identification, оптимизирован для разделения английского и других языков (имеется демонстрационная версия)
• https://github.com/feedbackmine/language_detector, менее специализированный, обнаружит больше языков. Некоторым языкам может потребоваться дополнительное обучение - я обнаружил, что оно недостаточно точно для текста на немецком языке.

Answer 2

Я использую CLD , который мне действительно нравится, лаконичен и прост в использовании.Попробуйте.

Answer 3

Для всех, кто заинтересовался, я нашел http://rubygems.org/gems/kenwaln-whatlanguage,, который отлично работает.

Answer 4

Небольшая демонстрация WhatLanguage в Ruby:

http://www.youtube.com/watch?v=lNqZ2cqOReo&list=UUJ_3fstMOH-g4yBxtvgAWkw&index=0&feature=plcp