Word To Ve c со Spacy, слова в той же категории

Question

Я пытаюсь сделать кластерные слова в той же категории. Поэтому я хотел использовать Spacy Word2Ve c. Это уже работает с легкими словами, как банановое яблоко и автомобиль. Оно показывает почти одно и то же слово.

Если слова становятся более точными c, такие как автомобиль, аккумулятор, аккумулятор, аккумулятор и т. Д., Если они были более техническими, Spacy отправляет ноль векторов. Таким образом, эти слова не были включены в библиотеку.

У вас есть какой-нибудь материал для меня?

Кроме того, я должен сделать это на немецком языке.

Большое спасибо, Джокулема

Answer 1

Если вам нужны векторы слов для слов, которых нет в используемой вами модели, вам придется либо:

• найти и использовать другую модель, содержащую эти слова

• обучите вашу собственную модель на основе ваших собственных обучающих данных, которые содержат много примеров использования этих слов в контексте

Answer 2

В документации сказано, что Word2Vec нужна модель для работы с различными словами.

Они также дают пример модели, которая включает ~ 1 миллион слов и показывают, как ее скачать:

python -m spacy download en_core_web_lg

Пожалуйста, прочитайте документацию здесь: https://spacy.io/usage/spacy-101#vectors -similarity