косинусное сходство между вектором и столбцом панд (линейный вектор) - PullRequest
Новая
       9

косинусное сходство между вектором и столбцом панд (линейный вектор)

0 голосов
/ 05 июня 2018

У меня есть фрейм данных панд, содержащий список вин с соответствующими атрибутами вина.

Затем я создал новый вектор-столбец, содержащий пустые векторы из этих атрибутов. 

def get_wine_profile(id):
wine = wines[wines['exclusiviId'] == id]
wine_vector = np.array(wine[wine_attrs].values.tolist()).flatten()

return wine_vector

wines['vector'] = wines.exclusiviId.apply(get_wine_profile)

следовательно, векторный столбец выглядит примерно так 

vector

[1, 1, 1, 2, 2, 2, 2, 1, 1, 1]

[3, 1, 2, 1, 2, 2, 2, 0, 1, 3]

[1, 1, 2, 1, 3, 3, 3, 0, 1, 1]

.

.

Теперь я хочувыполнить косинусное сходство между этим столбцом и другим вектором, который получается в результате вектора из пользовательского ввода Это то, что я пробовал до сих пор 

from scipy.spatial.distance import cosine
cos_vec = wines.apply(lambda x: (1-cosine(wines["vector"],[1, 1, 1, 2, 2, 2, 2, 1, 1, 1]), axis=1)
Print(cos_vec)

это ошибка выброса 

ValueError: ('operands could not be broadcast together with shapes (63,) (10,) ', 'occurred at index 0')

Я такжепытается использовать sklearn, но у него также есть та же проблема с формой массива

, в качестве конечного результата я хочу получить столбец с оценкой совпадения между этим столбцом и пользовательским вводом

Ответы [ 2 ]

0 голосов
/ 06 июня 2018

ну, я сделал свою собственную функцию, чтобы сделать это, и да, это работает 

import math
def cosine_similarity(v1,v2):
"compute cosine similarity of v1 to v2: (v1 dot v2)/{||v1||*||v2||)"
sumxx, sumxy, sumyy = 0, 0, 0
for i in range(len(v1)):
    x = v1[i]; y = v2[i]
    sumxx += x*x
    sumyy += y*y
    sumxy += x*y
return sumxy/math.sqrt(sumxx*sumyy)

def get_similarity(id):
 vec1 = result_vector
 vec2 = get_wine_profile(id)
 similarity = cosine_similarity(vec1, vec2)
 return similarity

wines['score'] = wines.exclusiviId.apply(get_similarity)
display(wines.head())
0 голосов
/ 05 июня 2018

Лучшим решением IMO является использование cdist с cosine метрикой.Вы эффективно вычисляете попарные расстояния между n точками в вашем DataFrame и 1 точками в вашем пользовательском вводе, т.е. всего n пар.

Если вы обрабатываете более одного пользователя одновременно, этобыло бы еще эффективнее. 

from scipy.spatial.distance import cdist

# make into 1x10 array
user_input = np.array([1, 1, 1, 2, 2, 2, 2, 1, 1, 1])[None]
df["cos_dist"] = cdist(np.stack(df.vector), user_input, metric="cosine")


# vector  cos_dist
# 0  [1, 1, 1, 2, 2, 2, 2, 1, 1, 1]   0.00000
# 1  [3, 1, 2, 1, 2, 2, 2, 0, 1, 3]   0.15880
# 2  [1, 1, 2, 1, 3, 3, 3, 0, 1, 1]   0.07613

Кстати, похоже, вы используете нативные списки Python.Я бы переключил все на массивы.В любом случае, когда вы звоните по номеру cosine.

, под капотом происходит конверсия в np.array.
...