Поиск похожих имен в одном большом df в python с использованием fuzzywuzzy - PullRequest
Новая
       11

Поиск похожих имен в одном большом df в python с использованием fuzzywuzzy

0 голосов
/ 06 ноября 2018

Я пытаюсь найти наилучший способ выровнять мой набор данных, который содержит «Названия компаний». Мой набор данных составляет около 300 тыс. Строк и 3 столбца. Я попробовал много методов, включая Fuzzywuzzy, используя 

choices = ["Atlanta Falcons", "New York Jets", "New York Giants", "Dallas Cowboys"]
>>> process.extract("new york jets", choices, limit=2)
    [('New York Jets', 100), ('New York Giants', 78)]

Теперь этот код имеет два набора данных, и когда я конвертирую df [Name] в два и сопоставляю с вышеуказанным методом, первый по умолчанию становится 100%, так как список дублируется.

Мой точный код 

import pandas as pd
df = pd.DataFrame({"Name" : ["Google","google.inc", "ddood"]})
df2 = pd.DataFrame({"Name" : ["google","google"]})

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

get_match = []
for row in df.index:
    name1 = []
    name1.append(df.get_value(row,"Name"))
    for columns in df2.index:
        name2 = []
        name2.append(df2.get_value(columns,"Name") )
        matched_token=[process.extract(x, name2, limit = 2)[0][1] for x in name1]
        get_match.append([matched_token, name1[0], name2[0]])
df_maneet = pd.DataFrame({'name1': [i[1] for i in get_match], 'name2':[i[2] for i in get_match], 'Ratio': [i[0][0] for i in get_match]})

new_df = df_maneet[df_maneet.Ratio>95]

Я сомневаюсь, что вышесказанное - лучший способ решить мою проблему. Мой конечный результат должен быть таким же, как у компаний, составляющих группу.

Приведенный ниже ответ также не помог нахождения автомодельного-контакт-имена-в-таблица

Ответы [ 2 ]

0 голосов
/ 06 ноября 2018

Вы можете использовать np.meshgrid, чтобы создать список значений и получить коэффициент для каждой пары значений с помощью fuzz.ratio, а затем выбрать строки, превышающие ваш пороговый коэффициент. 

import pandas as pd
import numpy as np
from fuzzywuzzy import fuzz

df = pd.DataFrame({"Name" : ["Google","google.inc", "ddood"]})
df2 = pd.DataFrame({"Name" : ["google","Grrgle"]})

x = np.array(np.meshgrid(df.Name.values, df2.Name.values)).T.reshape(-1,2)
df3 = pd.DataFrame(x)

df3.columns = ['Name1', 'Name2']

df3['Ratio'] = [fuzz.ratio(*i) for i in map(tuple, x)]


print (df3[df3.Ratio > 75])

    Name1   Name2  Ratio
0  Google  google     83

Редактировать: Используйте difflib.get_close_matches, чтобы получить близкие совпадения для ваших значений. 

from difflib import get_close_matches

df = pd.DataFrame({'company_name': ['Alarm.com','Analytics inc.','Adaptiv',
                                   'AllState Insurance','Alarm co', 'Analytics', 
                                    'Adaptive', 'AllState Insurance Group']})

df1 = df['company_name'].map(lambda x: get_close_matches(x, df.company_name, n=2,
                                       cutoff=0.8)).apply(pd.Series).dropna()

print (df1)
                          0                         1
0                 Alarm.com                  Alarm co
2                   Adaptiv                  Adaptive
3        AllState Insurance  AllState Insurance Group
4                  Alarm co                 Alarm.com
6                  Adaptive                   Adaptiv
7  AllState Insurance Group        AllState Insurance
0 голосов
/ 06 ноября 2018

Вы также можете попробовать изучить библиотеки, такие как difflib и fuzzyset

Вы можете попробовать использовать его, как показано ниже, с вашими фреймами данных df и df2: 

In [1070]: from difflib import SequenceMatcher as SM
In [1076]: SM(None, df['Name'].iloc[0], df2['Name'].iloc[0]).ratio()
Out[1076]: 0.8333333333333334

Пожалуйста, изучите сравнение нечетких строк для получения дополнительной информации.

Дайте мне знать, если это поможет.

...