После предварительной обработки у меня есть список pos-тегов в столбце панд, как показано ниже.Я хочу векторизовать эти теги и сгенерировать матрицу, используя Tfidfvectorizer или любой другой векторизатор.
набор данных ['text_posTagged']
['VBP', 'JJ', 'NNS', 'VBP', 'JJ', 'IN', 'PRP', 'VBP', 'TO', 'VB', 'PRP', 'RB', 'VBZ', 'DT', 'JJ', 'PRP$', 'NN', 'NN', 'NN', 'NN', 'VBZ', 'JJ']
['UH', 'DT', 'VB', 'VB', 'PRP$', 'NN', 'TO', 'JJ', 'IN', 'PRP', 'MD', 'VB', 'DT', 'VBZ', 'DT', 'NN', 'NN']
['NN', 'VBD', 'NN', 'NN', 'NN', 'DT', 'IN', 'IN', 'NN', 'IN', 'NN', 'NN', 'VBD', 'IN', 'JJ', 'NN', 'NN']
Применение Tfidfvectorizer дает ValueError: np.nan - недопустимый документ, ожидаемая строка байта или Unicode.
tfidf = TfidfVectorizer(tokenizer=identity_tokenizer, stop_words='english', lowercase=False)
pos_tag_response = tfidf.fit_transform(dataset['text_posTagged'])
pos_tag_matrix = pd.DataFrame(pos_tag_response.todense(), columns=tfidf.get_feature_names())
Однако применение Tfidfvectorizer к следующему столбцу со списком слов работает правильно.
['are', 'red', 'violets', 'are', 'blue', 'if', 'you', 'want', 'to', 'buy', 'us', 'here', 'is', 'a', 'clue', 'our', 'eye', 'amp', 'cheek', 'palette', 'is', 'al']
['is', 'it', 'too', 'late', 'now', 'to', 'say', 'sorry']
['our', 'amazonian', 'clay', 'full', 'coverage', 'foundation', 'comes', 'in', '40', 'shades', 'of', 'creamy', 'goodness']
Как я могу векторизовать столбец с помощью тегов pos ??