AttributeError: у объекта 'list' нет атрибута 'lower' из Tfidf_vect.fit - PullRequest
Новая
       71

AttributeError: у объекта 'list' нет атрибута 'lower' из Tfidf_vect.fit

0 голосов
/ 23 июня 2019

Я пытаюсь применить SVM, используя функции tf-idf. но я получил эту ошибку: 

Traceback (most recent call last):
  File "<input>", line 1, in <module>
  File "C:\Program Files\JetBrains\PyCharm 2019.1.3\helpers\pydev\_pydev_bundle\pydev_umd.py", line 197, in runfile
    pydev_imports.execfile(filename, global_vars, local_vars)  # execute the script
  File "C:\Program Files\JetBrains\PyCharm 2019.1.3\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile
    exec(compile(contents+"\n", file, 'exec'), glob, loc)
  File "C:/Users/lam/.PyCharm2019.1/config/scratches/scratch_1.py", line 35, in <module>
    Tfidf_vect.fit(data['input'])
  File "C:\Users\lam\PycharmProjects\untitled\venv\lib\site-packages\sklearn\feature_extraction\text.py", line 1631, in fit
    X = super().fit_transform(raw_documents)
  File "C:\Users\lam\PycharmProjects\untitled\venv\lib\site-packages\sklearn\feature_extraction\text.py", line 1058, in fit_transform
    self.fixed_vocabulary_)
  File "C:\Users\lam\PycharmProjects\untitled\venv\lib\site-packages\sklearn\feature_extraction\text.py", line 970, in _count_vocab
    for feature in analyze(doc):
  File "C:\Users\lam\PycharmProjects\untitled\venv\lib\site-packages\sklearn\feature_extraction\text.py", line 352, in <lambda>
    tokenize(preprocess(self.decode(doc))), stop_words)
  File "C:\Users\lam\PycharmProjects\untitled\venv\lib\site-packages\sklearn\feature_extraction\text.py", line 256, in <lambda>
    return lambda x: strip_accents(x.lower())
AttributeError: 'list' object has no attribute 'lower'

Это мой код: 

data['input']= [nltk.word_tokenize(entry) for entry in data['input']]

Train_X, Test_X, Train_Y, Test_Y = sklearn.model_selection.train_test_split(data['input'],data['Class'],test_size=0.2)

Encoder = LabelEncoder()
Train_Y = Encoder.fit_transform(Train_Y)
Test_Y = Encoder.fit_transform(Test_Y)

Tfidf_vect = TfidfVectorizer()
Tfidf_vect.fit(data['input'])


Train_X_Tfidf = Tfidf_vect.transform(Train_X)
Test_X_Tfidf = Tfidf_vect.transform(Test_X)

print(Tfidf_vect.vocabulary_)

Я использую Python 3.6.0, мой набор данных на арабском языке.

Спасибо ,,

1 Ответ

0 голосов
/ 23 июня 2019

Ошибка говорит, что TfidfVectorizer ожидает строку в качестве входных данных, а не список строк. Он выполняет всю токенизацию самостоятельно (но вы можете подключить пользовательский токенизатор в TfidfVectorizer, если хотите).

Так что я бы попробовал более простой конвейер без первой строки (с nltk.tokenize..). Но я не могу быть уверен на 100%, потому что вы не предоставили никаких примеров реальных входных данных, которые вызывают ошибку.

...