добавление результата извлечения нечеткого процесса в df - PullRequest
Новая
       45

добавление результата извлечения нечеткого процесса в df

0 голосов
/ 05 ноября 2018

У меня есть список названий компаний, которые не выровнены должным образом. Набор данных выглядит как

df [Name] = [Google, Google, Google.inc, Google Inc., Google.com]

У меня около 500 000 строк, и имя должно быть исправлено наилучшим образом.

Мой код выглядит следующим образом: 

from fuzzywuzzy import fuzz
from fuzzywuzzy import process
import pandas as pd

get_match = []

for row in df.index:
    name1= df.get_value(row,"Name")
    for columns in df2.index:
        name2=df2.get_value(columns,"Name")
matched_token=[process.extract(x, name2, limit=3) for x in name1]
        get_match.append([matched_token, name1, name2])
df_maneet = pd.DataFrame({'Ratio': [i[0] for i in get_match], 'name1': [i[1] for i in get_match], 'name2':[i[2] for i in get_match]})

Мой результат в matched_token is

[[('google', 100, 0), ('Sxyzdgg.', 48, 9), ('ggigsk', 45, 2)]]

но я хочу добавить результат в df и увидеть результат, как показано ниже.

enter image description here

Я думаю, что что-то не так в строке matched.token, но не могу понять.

Заранее спасибо

1 Ответ

0 голосов
/ 05 ноября 2018

Может быть, этот код поможет вам: 

import pandas as pd
df = pd.DataFrame({"Name" : ["Google","google.inc"]})
df2 = pd.DataFrame({"Name" : ["google","google"]})

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

get_match = []
for row in df.index:
    name1 = []
    name1.append(df.get_value(row,"Name"))
    for columns in df2.index:
        name2 = []
        name2.append(df2.get_value(columns,"Name") )
        matched_token=[process.extract(x, name2, limit=3)[0][1] for x in name1]
        get_match.append([matched_token, name1[0], name2[0]])
df_maneet = pd.DataFrame({'name1': [i[1] for i in get_match], 'name2':[i[2] for i in get_match], 'Ratio': [i[0][0] for i in get_match]})

Конечный кадр данных: 

name1   name2  Ratio

0 Google google 100
1 Google google 100
2 google.inc google 90
3 google.inc google 90

...