Как преобразовать TF-IDF в реальное число - PullRequest
1 голос
/ 25 января 2020

Я хочу использовать tf-idf как функцию в алгоритме обучения рангу. В формате файла поезда значением каждого объекта является число с плавающей точкой. Однако tf-idf, который я получаю для каждой строки данных, является вектором. Как я могу преобразовать этот вектор в уникальный номер? На самом деле мне нужно transform_to_float в следующем коде.

df_train["text"] = df_train['product_description'] + ' ' + df_train['product_title']
corpus = df_train['text'].tolist() 
# print(corpus[:5])
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)

df_train['tf_idf'] = transform_to_float(X[df_train.reset_index().index])
...