Как применить TFIDF к данным POS NLTK .....?

Question

Я применил nurk POS-фьюриризацию к своей колонке отзывов в DataFrame моей панды. Я получил новую функцию, но когда я пытаюсь применить векторизацию TFIDF к этой функции, она выдает ошибку типа

Ошибка: при применении TFIDF Vectorizer

AttributeError: у объекта 'list' нет атрибута ниже

Я использовал приведенный ниже код для nltk POS

pure_df['pre_pro_plot_synopsis_POS'] = pos_tag_sents(pure_df['pre_pro_plot_synopsis'].apply(word_tokenize).tolist())

Может кто-нибудь помочь мне передать данные POS векторизатору tfidf?

Спасибо заранее

Answer 1

Здесь, кажется, pos_tag_sents метод, созданный вами, ожидает строку в качестве параметра, но здесь вы передаете список в качестве параметра для него. Поэтому вместо этой строки: pos_tag_sents(pure_df['pre_pro_plot_synopsis'].apply(word_tokenize).tolist())

Попробуйте еще раз применить метод apply и передайте ему pos_tag_sents, например:

pure_df['pre_pro_plot_synopsis_POS'] = pure_df['pre_pro_plot_synopsis'].apply(word_tokenize).apply(pos_tag_sents).tolist()

Надеюсь, это поможет.