Вычислить косинусное подобие пары по идентификатору строки разреженной матрицы - PullRequest
Новая
       14

Вычислить косинусное подобие пары по идентификатору строки разреженной матрицы

0 голосов
/ 08 октября 2018

Я хочу вычислить подобие попарного косинуса между одной строкой разреженной матрицы и остальными строками.(Почему ?: потому что каждая строка является векторизованным product_title, и я хочу извлечь аналогичные продукты по значению id).

Ранее у меня было df_cleaned как <504x41732 sparse matrix> (каждая строка, название продуктаи столбцы - из-за токенов).

Я определил: 

def pairw_cos(prod_idx):
    prod = df_cleaned[prod_idx]
    foll_idx = prod_idx + 1 #thats a trick to select the rest of rows on the following line
    candidates_matrix = scipy.sparse.vstack([df_cleaned[:prod_idx, :], df_cleaned[foll_idx:, :]])
    simil_cosine = {}

    for candidates_idx, single_candidate in candidates_matrix.iterrows():
        single_simil = cosine_similarity(prod,single_candidate)
        simil_cosine[candidates_idx] = single_simil
    return pd.Series(simil_cosine)

Но это не работает (потому что метод iterrows не существует в разреженных матрицах).Затем я попытался: 

for row in candidates_matrix:
    for candidates_idx, single_candidate in row:
        single_simil = cosine_similarity(prod,single_candidate)
        simil_cosine[candidates_idx] = single_simil

И, при вызове функции, я получил: 

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-53-4c45754152cc> in <module>()
----> 1 pairw_cos2(2)

<ipython-input-52-12d55d3c35e5> in pairw_cos2(prod_idx)
      7 
      8     for row in candidates_matrix:
----> 9         for candidates_idx, single_candidate in row:
     10             single_simil = cosine_similarity(prod,single_candidate)
     11             simil_cosine[candidates_idx] = single_simil

ValueError: not enough values to unpack (expected 2, got 1)

1 Ответ

0 голосов
/ 08 октября 2018

Если кто-нибудь задаст тот же вопрос, я наконец решу, что: 

def pairwise_cosine(prod_idx):
    prod = df_cleaned[prod_idx]
    foll_idx = prod_idx + 1
    candidates_matrix = scipy.sparse.vstack([df_cleaned[:prod_idx, :], df_cleaned[foll_idx:, :]])
    simil_cosine = {}
    to_enumerate = []

    for row in candidates_matrix:
        simil_per_row= []
        simil_per_row = cosine_similarity(row,prod)
        to_enumerate.append(simil_per_row)
    for index, row in enumerate(candidates_matrix):
        simil_cosine[index] = to_enumerate[index]
    return pd.Series(simil_cosine)
...