Частичное совпадение строк в группах - PullRequest
Новая
       81

Частичное совпадение строк в группах

0 голосов
/ 25 апреля 2019

У меня есть данные, которые включают группу (область) и затем также дают имя.Я пытаюсь объединить два кадра данных.Один кадр намного меньше и является «отображающим» фреймом данных.У него есть одна строка для каждого Имени в пределах Района.Другой кадр намного больше и является фреймом данных «экземпляров».У этого есть много рядов с вариациями имен с Районом.Я хочу, чтобы информация из фрейма отображения была объединена с фреймом экземпляров, чтобы каждый экземпляр имел информацию, которую фрейм отображения предоставляет ему.

Я изучил пакет Fuzzy, но не нашел способа реализовать его в группах (столбец Area) или как эффективно использовать его с ячейками, которые содержат несколько строк, и пытаясь сопоставить их на основе этого.

Ниже приведен пример аналогичных данных.Объединение должно извлечь соответствующую информацию из фрейма данных экземпляров, чтобы сопоставить ее с фреймом данных отображения.

Отображение кадра данных 

Area    Name
A   Apple  
A   Orange Strawberry 
A   Blackberry Rasberry 
B   Blackberry 
C   Kiwi  
C   Apple

Экземпляр кадра данных 

Area    Locale
A   Apple Pear Tomato
A   Orange Potato Strawberry Zuccini
A   Blackberry Rasberry 
B   Blackberry Onion
B   Lettuce Blackberry Cucumber 
C   Kiwi Spinach Pineapple
C   Kiwi Potato 
C   Apple Cucumber 
C   Apple Potato

Цель состоит в том, чтобы получить кадр, который выглядит ниже.

Датафрейм 

Area    Locale                                  Name
A   Apple Pear Tomato                   Apple  
A   Orange Potato Strawberry Zuccini    Orange Strawberry 
A   Blackberry Rasberry                 Blackberry Rasberry 
B   Blackberry Onion                    Blackberry 
B   Lettuce Blackberry Cucumber.        Blackberry 
C   Kiwi Spinach Pineapple              Kiwi  
C   Kiwi Potato                         Kiwi  
C   Apple Cucumber                      Apple 
C   Apple Potato                        Apple

1 Ответ

0 голосов
/ 25 апреля 2019

С помощью пушек и панд вы можете получить ожидаемый результат.

1) начните со сбора ваших библиотек и данных: 

import pandas as pd
from fuzzywuzzy import fuzz
mapping = pd.read_excel('Book1.xlsx', sheet_name='mapping')
instance = pd.read_excel('Book1.xlsx', sheet_name='instance')

2) создайте список уникальных значений ваших областей: 

unique_area = instance['Area'].drop_duplicates(keep='first').values.tolist()

3) создайте пустой фрейм данных и запустите для каждой области следующий код: 

fuzzed_data = []
for i in unique_area:
    instanceunique = instance[instance['Area'] == i]
    unique_list = mapping[mapping['Area'] == i]['Name'].drop_duplicates(keep='first').values.tolist()
    instance_score = instanceunique[['Locale']]
    for i in unique_list:
        ratiofuzz = []
        for index, row in instance_score.iterrows():
                ratiofuzz.append(fuzz.ratio(row['Locale'], i))
        instance_score[i] = ratiofuzz
    scores = instance_score.drop(['Locale'], axis=1)
    instance_score['mapping'] = scores.idxmax(axis=1)
    instanceunique = pd.merge(instanceunique
                          , instance_score[['Locale', 'mapping']]
                          , how='left'
                          , on=['Locale'])
    fuzzed_data.append(instanceunique)

4) Объединить «размытые» данные: 

fuzzed_data = pd.concat(fuzzed_data, axis=0)

Вот и все! Дай мне знать, если тебе еще понадобится помощь. BR

...