Как использовать обработку естественного языка для сопоставления текста с заранее заданным списком тем

Question

Мне интересно иметь возможность использовать такую ​​службу, как Google Natural Language API, для классификации случайных вопросов пользователей по заранее заданному списку тем. У меня продвинутый опыт программирования, и я хочу использовать сервис Google в качестве основы и, при необходимости, создать базу кода вокруг него для достижения нашей цели. Примером использования может быть:

Жестко заданный список тем:
Бейсбол
Футбол
Футбол

Примеры вопросов пользователей и ожидаемые результаты:
Как мне варить макароны? РЕЗУЛЬТАТ: Нет результатов
Кто такой судья? РЕЗУЛЬТАТ: Бейсбол / Футбол / Футбол
Что такое хоумран? РЕЗУЛЬТАТ: Бейсбол

1) Существует ли что-нибудь подобное уже для классификации случайного пользовательского текста по заранее заданному списку тем?
2) Если нет, существует ли уже существующая концепция программирования, которая показывает способы ее реализации. , или позвольте мне изучить концепции вокруг этого? (Я искал в Google и ничего не нашел - возможно, я просто не знаю, что искать)
3) Если нет, можно было бы применить какие-либо указания по этому поводу?

Answer 1

Это звучит как основная проблема c классификации или, точнее, может быть классификация по намерениям .

У Google есть руководство по созданию программы классификации. Вам следует начать с этого.

Результат классификатора даст вам список тем с вероятностью для каждой. Если вы хотите разрешить множественные вероятности, что труднее сделать правильно, вы можете выбрать все темы с вероятностью выше порога. Вам нужно будет определить порог экспериментально.

Модель по умолчанию имеет фиксированный список категорий, но это руководство проведет вас через настройку пользовательских категорий.

---

Если вы хотите искать за пределами Google Cloud, возможно, будет проще найти руководства по классификации текста. В spaCy есть отличное руководство , которое вы можете использовать, чтобы быстро начать кататься.