Textblob дает ошибку памяти при использовании NaiveBayesAnalyzer для большого набора данных - PullRequest
Новая
       3

Textblob дает ошибку памяти при использовании NaiveBayesAnalyzer для большого набора данных

0 голосов
/ 25 ноября 2018

Я открываю каждый текстовый файл и присваиваю ему метку - pos или neg согласно обучающему классификатору NaiveBayes. Набор данных содержит около 12 000 текстовых файлов.Я использую библиотеку TextBlob для анализа настроений 

train = [('I dont like this movie','neg')]
path  = 'C://TextDemo//senti//aclImdb//train//neg//*.txt'
for f in glob.glob(path):
with open(f, "r", encoding="UTF-8") as read_file:
    for line in read_file:
        train.append(((line.replace("<br />","")),'pos'))

cl = NaiveBayesClassifier(train)
...