Есть ли способ присвоить уникальные значения именам, которые имеют косинусное сходство выше 0,8? - PullRequest
1 голос
/ 11 июля 2019

Я могу рассчитать косинусное сходство между разными именами.После этого я хочу присвоить уникальные значения тем именам, которые имеют сходство> 0,8

Я попытался создать словарь, содержащий имена в качестве ключа и присвоить уникальное значение в качестве значений

dict1 = {}

ui = 0

def word2vec(word):
    from collections import Counter
    from math import sqrt
    cw = Counter(word)
    sw = set(cw)
    lw = sqrt(sum(c*c for c in cw.values()))
    return cw, sw, lw
def cosdis(v1, v2):
    common = v1[1].intersection(v2[1])
    return sum(v1[0][ch]*v2[0][ch] for ch in common)/v1[2]/v2[2]
list1 = list(df['Name'].unique())
for m in list1:
    for i in range(0, len(list1)):   
        vec1 = word2vec(m)
        vec2 = word2vec(list1[i])
        x = cosdis(vec1,vec2)
        if(x >=.80):
            dict1[m, list[i]] = 'A' + str(ui)                       
        else:
            pass
        ui = ui + 1                            

Я хотел бывсе похожие имена имеют одинаковое значение в словаре.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...