Нечеткое соответствие внутри столбца - PullRequest
Новая
       71

Нечеткое соответствие внутри столбца

0 голосов
/ 04 апреля 2019

Предположим, у меня есть список таких видов спорта: 

sports=["futball","fitbal","football","tennis","tenis","tenisse","footbal","zennis","ping-pong"]

Я хотел бы создать информационный фрейм, который будет соответствовать каждому элементу спорта с наиболее близким значением, если нечеткое соответствие превышает 0,5, и если оно не просто сопоставляет его с самим собой. (Я хочу использовать для этого функцию fuzzywuzzy.fuzz.ratio (x, y))

Результат должен выглядеть следующим образом: 

pd.DataFrame({"sport":sports,"closest_match":["futball","futball","football","tennis","tennis","tennis","futball","tennis","ping-pong"]})

    sport   closest_match
0   futball futball
1   fitbal  futball
2   football football
3   tennis  tennis
4   tenis   tennis
5   tenisse tennis
6   footbal futball
7   zennis  tennis
8   ping-pong ping-pong

Спасибо

1 Ответ

1 голос
/ 04 апреля 2019

вот решение, использующее itertools.combination : 

from fuzzywuzzy import fuzz
import pandas as pd
sports = ["futball", "fitbal", "football", "tennis", "tenis", "tenisse", "footbal", "zennis", "ping-pong"]
dist = ([x for x in itertools.combinations(sports, 2) if fuzz.ratio(*x) > 50])

df = pd.DataFrame(dist, columns=["sport","closest"])
df['ratio'] = dist = ([fuzz.ratio(*x) for x in itertools.combinations(sports, 2) if fuzz.ratio(*x) > 50])
print(df)

df = df.groupby(['sport'])[['closest','ratio']].agg('max').reset_index()

выход: 

      sport   closest  ratio
0    fitbal  football     77
1  football   footbal     93
2   futball  football     80
3     tenis    zennis     83
4   tenisse    zennis     62
5    tennis    zennis     91
...