Python функция для перебора столбца сразу - PullRequest
Новая
       8

Python функция для перебора столбца сразу

0 голосов
/ 12 февраля 2020

У меня проблема с выполнением векторизатора tfidf в списке для генерации ключевых слов. Это происходит ряд за рядом. Выходные данные получаются правильными, так как я могу проверить выходные данные один за другим на уровне строк, передавая индекс строки следующим образом: 

# count matrix
count_vector=cv.transform(df_idf)

# tf-idf scores
tf_idf_vector=tfidf_transformer.transform(count_vector)

X=df1['C1'].tolist()

def sort_coo(coo_matrix):
tuples = zip(coo_matrix.col, coo_matrix.data)
return sorted(tuples, key=lambda x: (x[1], x[0]), reverse=True)

def extract_topn_from_vector(feature_names, sorted_items, topn=5):
"""get the feature names and tf-idf score of top n items"""

#use only topn items from vector
sorted_items = sorted_items[:topn]

score_vals = []
feature_vals = []

for idx, score in sorted_items:
    fname = feature_names[idx]

    #keep track of feature name and its corresponding score
    score_vals.append(round(score, 3))
    feature_vals.append(feature_names[idx])

#create a tuples of feature,score
#results = zip(feature_vals,score_vals)
results= {}
for idx in range(len(feature_vals)):
    results[feature_vals[idx]]=score_vals[idx]

return results

# get the document that we want to extract keywords from
doc=X[725]

 #generate tf-idf for the given document
 tf_idf_vector=tfidf_transformer.transform(cv.transform([doc]))

 #sort the tf-idf vectors by descending order of scores
 sorted_items=sort_coo(tf_idf_vector.tocoo())

 #extract only the top n; n here is 10
 keywords=extract_topn_from_vector(feature_names,sorted_items,5)

 # now print the results
 print("\n=====Title=====")
 print(X[725])
 print("\n===Keywords===")
 for k in keywords:
    print(k,keywords[k])

Теперь я хочу сохранить эти ключевые слова сразу в новом столбце ' ключевые слова, соответствующие каждой строке из предыдущего столбца, из которого генерируются ключевые слова. Столбцы C1 и ключевые слова нового столбца должны быть в pandas кадре данных и должны быть столбцом, а не списком

Вывод должен выглядеть следующим образом (только пример, а не исходный вывод): 

C1                                     Keyword
Hello there, you are amazing           Hello 0.29, Amaing 0.19
...