Как использовать простейший лемматизатор с другой позиционированием

Question

Я работаю над задачами маркировки POS с помощью различных библиотек (включая шаблоны), а также задач лемматизации.

Каждый раз, когда я использую пространственную лемматизацию, она автоматически генерирует тег spacy pos для каждого слова в предложении.

Тем не менее, я хотел бы использовать тег pos, сгенерированный шаблоном (а не из spacy), чтобы улучшить лемматизацию предложения.

Возможно ли это?

Answer 1

Я сейчас тоже занимаюсь этой проблемой.Вот некоторые вещи, которые я узнал, надеюсь, что это укажет вам правильное направление.

• Лемматизатор создан BaseDefaults.create_lemmatizer (см. https://github.com/explosion/spacy/blob/master/spacy/language.py). Вы можете получить к нему доступ, вызвав nlp.Defaults.create_lemmatizer
• lemmatizer живет в nlp.vocab.morphology.lemmatizer (см. https://github.com/explosion/spaCy/blob/master/spacy/morphology.pyx)
• lemmatizer вызывается, когда исключения токенизатора добавляются во время его создания (если лемма не предоставляется как частьопределения исключения).
• вызывается лемматизатор из Tagger.set_annotations => vocab.morphology.assign_tag_id (см. https://github.com/explosion/spacy/blob/master/spacy/pipeline.pyx для класса Tagger и https://github.com/explosion/spaCy/blob/master/spacy/morphology.pyx)

Tagger является частью конвейера spaCy.

Похоже, что вам нужно сделать:

• отключить Spacy POS tagger, а также создать и подключить свой собственный (информация здесь: https://spacy.io/usage/processing-pipelines)
• создайте свой собственный элемент канала lemmatizer, который будет вызывать nlp.vocab.morphology.lemmatizer с тегами, назначенными тэгером. Или, может быть, это лучшее решениеМожно создать собственный экземпляр лемматизатора, вызвав nlp.Defaults.create_lemmatizer, а затем использовать его.

Надеюсь, это поможет.