Как рассчитать оценку tfidf из столбца данных и извлечь слова с минимальным порогом оценки - PullRequest
Новая
       5

Как рассчитать оценку tfidf из столбца данных и извлечь слова с минимальным порогом оценки

1 голос
/ 06 апреля 2019

Я взял столбец набора данных, который имеет описание в текстовой форме для каждой строки. Я пытаюсь найти слова, у которых tf-idf больше некоторого значения n. но код дает матрицу баллов, как сортировать и фильтровать баллы и видеть соответствующее слово. 

tempdataFrame = wineData.loc[wineData.variety == 'Shiraz', 
'description'].reset_index()
tempdataFrame['description'] = tempdataFrame['description'].apply(lambda 
x: str.lower(x))

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer(analyzer='word', stop_words = 'english')
score = tfidf.fit_transform(tempDataFrame['description'])

Sample Data:
description
This tremendous 100% varietal wine hails from Oakville and was aged over 
three years in oak. Juicy red-cherry fruit and a compelling hint of caramel 
greet the palate, framed by elegant, fine tannins and a subtle minty tone in 
the background. Balanced and rewarding from start to finish, it has years 
ahead of it to develop further nuance. Enjoy 2022–2030.

1 Ответ

0 голосов
/ 06 апреля 2019

В отсутствие полного столбца фрейма данных с описанием вин предоставленные вами образцы данных делятся на три предложения, чтобы создать фрейм данных с одним столбцом с именем «Описание» и тремя строками.Затем столбец передается в tf-idf для анализа и создается новый фрейм данных, содержащий функции и их оценки.Результаты впоследствии фильтруются с использованием панд. 

import pandas as pd
from sklearn.feature_extraction.text import TfidfVectorizer

doc = ['This tremendous 100% varietal wine hails from Oakville and was aged over \
three years in oak.', 'Juicy red-cherry fruit and a compelling hint of caramel \
greet the palate, framed by elegant, fine tannins and a subtle minty tone in \
the background.', 'Balanced and rewarding from start to finish, it has years \
ahead of it to develop further nuance. Enjoy 2022–2030.']

df_1 = pd.DataFrame({'Description': doc})

tfidf = TfidfVectorizer(analyzer='word', stop_words = 'english')
score = tfidf.fit_transform(df_1['Description'])

# New data frame containing the tfidf features and their scores
df = pd.DataFrame(score.toarray(), columns=tfidf.get_feature_names())

# Filter the tokens with tfidf score greater than 0.3
tokens_above_threshold = df.max()[df.max() > 0.3].sort_values(ascending=False)

tokens_above_threshold
Out[29]: 
wine          0.341426
oak           0.341426
aged          0.341426
varietal      0.341426
hails         0.341426
100           0.341426
oakville      0.341426
tremendous    0.341426
nuance        0.307461
rewarding     0.307461
start         0.307461
enjoy         0.307461
develop       0.307461
balanced      0.307461
ahead         0.307461
2030          0.307461
2022â         0.307461
finish        0.307461
...