Какую модель глубокого обучения использовать для НЛП?

Question

Я должен создать модель, которая принимает текст и список ключевых слов в качестве входных данных и должна выдавать логическое значение в качестве выходных данных.
Модель должна выводить, релевантен ли текст по отношению к этим ключевым словам .
Я не знаю, с чего начать или какую модель использовать.
LSTM обычно используется в НЛП, но он принимает только некоторый текст в качестве входных данных и предсказывает следующее слово, поэтому я не знаю, если это можно использовать.

Answer 1

Проблема, которую вы пытаетесь решить, называется классификацией текста.

Для вашей проблемы могут быть использованы LSTM. Они могут использоваться для предсказания следующего слова в предложении, но не обязательно. Как правило, сеть принимает слово за словом (или подсловами или символами) и обновляет свое скрытое состояние на основе этого. Эти состояния могут использоваться для прогнозирования следующего слова, но обязательно. Например, вы можете взять конечные состояния сети и запустить классификатор поверх нее. В этом случае LSTM обычно являются двунаправленными: есть две сети, каждая из которых работает с другого конца текста.

Более поздней популярной альтернативой LSTM является архитектура Transformer. Использование предварительно обученной модели BERT кажется хорошим решением вашей проблемы, например, использование реализации Huggingface в Pytorch .