Как построить лемматизатор с помощью Fasttext

Question

У меня огромное количество слов (4M) на арабском c диалекте с соответствующими им леммами, и я хочу создать лемматизатор для новых слов, не входящих в эти данные, используя его. Вопрос в том, как использовать FastText для создания этого лемматизатора?

Answer 1

Я думаю, что быстрый текст бесполезен для задачи лемматизации: вложение слов не имеет грамматического знания слов в корпусе.

Вместо этого вам следует рассмотреть возможность использования классических библиотек NLP, таких как Spacy или NLTK.