Добавьте несколько пользовательских слов в токенизатор в Spacy - PullRequest
Новая
       32

Добавьте несколько пользовательских слов в токенизатор в Spacy

0 голосов
/ 04 ноября 2019

У меня есть предложение, и я хотел бы видеть ожидаемые токены следующим образом. 

Sentence: "[x] works for [y] in [z]."
Tokens: ["[", "x", "]", "works", "for", "[", "y", "]", "in", "[", "z", "]", "."]
Expected: ["[x]", "works", "for", "[y]", "in", "[z]", "."]

Как я могу сделать это с помощью пользовательской функции токенизатора?

1 Ответ

0 голосов
/ 04 ноября 2019

Вы можете удалить [ и ] из префиксов и суффиксов токенизатора, чтобы скобки не отделялись от соседних токенов: 

import spacy
nlp = spacy.load('en_core_web_sm')

prefixes = list(nlp.Defaults.prefixes)
prefixes.remove('\\[')
prefix_regex = spacy.util.compile_prefix_regex(prefixes)
nlp.tokenizer.prefix_search = prefix_regex.search

suffixes = list(nlp.Defaults.suffixes)
suffixes.remove('\\]')
suffix_regex = spacy.util.compile_suffix_regex(suffixes)
nlp.tokenizer.suffix_search = suffix_regex.search

doc = nlp("[x] works for [y] in [z].")
print([t.text for t in doc])
# ['[x]', 'works', 'for', '[y]', 'in', '[z]', '.']

Соответствующая документация находится здесь:

https://spacy.io/usage/linguistic-features#native-tokenizer-additions

...