Токенизатор предложений извлекает промежутки - PullRequest
0 голосов
/ 11 июля 2019

Я хочу получить диапазоны базового токенизатора предложений ntlk (я знаю, что это можно сделать с помощью токенайзера pst, но базовый токенизатор работает лучше).Можно ли запустить метод span_tokenize на sent_tokenize?

from nltk import sent_tokenize
sentences = nltk.sent_tokenize(text)
...