У меня есть 2 кадра данных панд, которые я хотел бы сделать нечетким соответствием на основе одного из столбцов.Один фрейм данных (опорный фрейм данных) с ~ 5000 строками содержит псевдонимы имен с похожими идентификаторами, которые я хотел бы сопоставить с другим фреймом данных (внешним) из ~ 1500 строк с идентификаторами.
Таким образом, для каждого матча я получу нечеткие оценки, а затем решу, какую оценку я бы хотел использовать в качестве лучшего соответствия между обоими фреймами данных.Подмножество обоих фреймов данных используется в примере ниже.
import pandas as pd
from fuzzywuzzy import fuzz
#Reference data frame
aka_df = pd.DataFrame({"grp_id":['M-00353','M-00353','M-00353','M-00538','M-00538','M-00160','M-00160','M-00160','M-00509','M-00509','M-00509','M-00509'],
"name": ['Buatan I Mill','Inti Indosawit Subur (PKS Buatan I)','Pt Inti Indosawit Subur Buatan I','Batang Kulim','Musim Mas - Batang Kulim','Hindoli (Sungai Lilin)','Hindoli (Pks Sei Lilin)','PT Hindoli',
'Agrowiratama Sukajadi Sawit Mekar 1','PKS PT. Sukajadi Sawit Mekar','Sukajadi Sawit Mekar','Sukajadi Sawit Mekar 1']})
# External data frame
ext_df = pd.DataFrame({"uml_id": ['P021','P054','P058','P106'],
"mill_name": ['Pt Inti Indosawit Subur - Buatan I','Pt. Musim Mas - Pks Batang Kulim', 'Cargill - Hindoli', 'Pks Pt. Sukajadi Sawit Mekar']})
compare = pd.MultiIndex.from_product([aka_df['name'],ext_df['mill_name']]).to_series()
def metrics(tup):
return pd.Series([fuzz.ratio(*tup)],['ratio'])
# Create df
compare_df = compare.apply(metrics)
# Reshaping data frame
merge_df = compare_df.reset_index()
unstack_df = merge_df.groupby(['level_0','level_1'])[ 'ratio'].mean().unstack('level_1')
Моя ссылка на код для сравнения двух фреймов данных взята из этого вопроса.Это примерно дает мне то, что мне нужно, а именно:
Однако, более критический столбец, который мне нужен из соответствующей матрицы, это идентификаторы из обоихфреймы данных, как показано ниже.
Я все еще довольно плохо знаком с Python, и я уверен, что это довольно легко сделать, но некоторые указания на этоочень высоко ценится.