Я пытался импортировать как:
from nltk.corpus import PunktSentenceTokenizer
Это дало мне следующую ошибку:
ImportError: cannot import name 'PunktSentenceTokenizer'
Теперь я попытался импортировать как:
tokenizer = nltk.tokenize.punkt.PunktSentenceTokenizer()
но приведенный ниже код снова выдает ошибку:
tagged_sentences = nltk.corpus.treebank.tagged_sents()
cutoff = int(.75 * len(tagged_sentences))
training_sentences = DataPrep.train_news['Statement']
print(training_sentences)
custom_sent_tokenizer =tokenizer.tokenize(training_sentences)
tokenized=custom_sent_tokenizer
error is: #TypeError: expected string or bytes-like object