команды для прогнозирования языка с помощью fastText в Linux - PullRequest
0 голосов
/ 10 октября 2019

Для идентификации языка я использую следующий учебник:

Учебник по определению языка Fasttext

После выполнения команды, как в учебнике: ./fasttext test langdetect. bin valid.txt

У меня есть следующие выходные данные: N 10000 P @ 1 0,967 R @ 1 0,967

после этого, какие команды будут предсказывать язык? Как ввести текст на других языках?

Я очень новичок в этом обнаружении языка. Я мог бы найти достаточно учебников для предсказания Python, но не в командной строке Linux.

Заранее спасибо.

1 Ответ

1 голос
/ 10 октября 2019

Определение языка является частным случаем классификации текста с использованием контролируемых моделей ( здесь вы можете найти учебное пособие ).

В соответствии с учебным пособием вы можете прогнозировать новые примеры, набрав:

./fasttext predict-prob langdetect.bin - -1 0.5

(мы хотим максимально возможное количество предсказаний (аргумент -1), и нам нужны только метки с вероятностью выше или равной 0,5)

и затем введите предложение.

Если у вас есть текстовый файл с предложениями для классификации, вы можете набрать:

$ ./fasttext predict-prob langdetect.bin test.txt k

, где k - это числоклассы для показа.

Этот шпаргалка также может быть полезен.

...