Как сделать классификацию текста с DeepPavlov

Question

Я заинтересован в классификации текста с помощью DeepPavlov фреймворка chatbot.

Проблема в том, что у меня недостаточно тренировочных данных.В идеале, я хотел бы сделать классификацию текста с несколькими образцами для каждого класса.

Answer 1

Вы должны проверить модели DeepPavlov autoFAQ .Эти модели были специально разработаны, чтобы быть эффективными, когда данные обучения ограничены.

В вашем распоряжении мало моделей

• Модели на основе TF-IDF

• модели fastText

• и сочетание обоих

Измените источник набора данных в файле конфигурации и обучите модель, запустив

python -m deeppavlov train tfidf_logreg_en_faq

Вы можете взаимодействовать с обученной моделью через командную строку

python -m deeppavlov interact tfidf_logreg_en_faq -d

или через код Python

from deeppavlov.core.commands.infer import build_model
faq = build_model("tfidf_logreg_en_faq", load_trained = True, download = True)
a = faq(["I need help"])
a

Вы можете найти весь необходимый кодфрагменты в записной книжке colab