Я хочу получить диапазоны базового токенизатора предложений ntlk
(я знаю, что это можно сделать с помощью токенайзера pst, но базовый токенизатор работает лучше).Можно ли запустить метод span_tokenize
на sent_tokenize
?
from nltk import sent_tokenize
sentences = nltk.sent_tokenize(text)