У меня есть набор предложений.Каждый из них может содержать отмеченные составные слова.Например:
Это example_sentence, за которым следует еще один awesome_paragraph
.Я хочу получить вектор вложения для всех токенов и составных слов
(это, например, предложение, за которым следует еще один удивительный абзац, example_sentence, awesome_paragraph)
Можно ли сделать это с помощью gensim или какую библиотеку использовать?