Vlook Up Elements из другого фрейма данных для создания MultiIndex DataFrame в Python - PullRequest
Новая
       5

Vlook Up Elements из другого фрейма данных для создания MultiIndex DataFrame в Python

0 голосов
/ 30 апреля 2018

Есть 2 кадра данных и один иерархический индекс (pandas multiIndex). В кадре А есть список идентификаторов и имен. Кадр данных B содержит список комбинаций имен и показатель сходства.

Я хочу, основываясь на мультииндексе, выбрать значения из Dataframe A и проверить, существует ли комбинация в DataFrame B. Если да, я хочу довести до моего Multindex dataframe показатель подобия, в противном случае просто 0.

DataFrame A (Исходный Dataframe) 

test= pd.DataFrame({'row':['a','b','c','d'],'col_A' : ["Alexis","Alexi","Peter","Pete"]})

test = test.set_index('row');test
Out:   
    row   col_A   
    a     Alexis
    b     Alexi
    c     Peter
    d     Pete

DataFrame B (Сходство имени) 

names = pd.DataFrame({'A' : ["Alexis","Alexi","Peter","Pete"]
                    ,'B' : ["Alexi","Alexis","Pete","Peter"]
                    , "similarity" : [0.9,0.9,0.8,0.8]})
Out:
       A       B      similarity
0   Alexis   Alexi         0.9
1   Alexi    Alexis        0.9
2   Peter    Pete          0.8
3   Pete     Peter         0.8

Мультииндекс 

# Creating a Pandas MultiIndex 
arrays = [['a', 'a', 'a', 'b', 'b', 'c'],
          ['b', 'c', 'd', 'c', 'd', 'd']]

tuples = list(zip(*arrays))
indexy = pd.MultiIndex.from_tuples(tuples, names=['first', 'second'])

для итерации по индексу Я использую приведенную ниже функцию, однако я не уверен, как ее настроить, чтобы получить оценку сходства, когда она существует, или 0, когда ее нет. 

a = pd.DataFrame((test.reindex(indexy.get_level_values(0)).values (?) test.reindex(indexy.get_level_values(1))).values,index=indexy,columns=test.columns)

Где я хочу выглядеть так: 

   row      similarity
first second           
a     b             0.9
      c             0
      d             0
b     c             0
      d             0
c     d             0.8

Ответы [ 2 ]

0 голосов
/ 02 мая 2018

Вот еще один способ сделать это с помощью мультииндексов, merge и map: 

from itertools import combinations

a = pd.DataFrame(index = pd.MultiIndex.from_tuples(list(combinations(test.col_A,2))))
a = a.merge(names, left_index=True, right_on=['A','B'],how='left').fillna(0)
testmap = test.reset_index().set_index('col_A').squeeze()

a['A'] = a.A.map(testmap)
a['B'] = a.B.map(testmap)
a = a.set_index(['A','B'])
a

Выход: 

     similarity
A B            
a b         0.9
  c         0.0
  d         0.0
b c         0.0
  d         0.0
c d         0.8

Подробнее

  • Создать MultiIndex, используя комбинации из itertools
  • Объединить пустой фрейм данных с мультииндексом в фрейм 'names' и заполнить NaN нулем
  • Используйте set_index, чтобы создать серию для сопоставления значений 'col_A' со значениями 'row' в тесте
0 голосов
/ 01 мая 2018

Итак, если вы не слишком увлечены мультииндексом, вот один из способов получить ваши данные, как вы ожидаете: 

import pandas as pd
test= pd.DataFrame({'row':['a','b','c','d'],'col_A' : ["Alexis","Alexi","Peter","Pete"]})
names = pd.DataFrame({'A' : ["Alexis","Alexi","Peter","Pete"],
                    'B' : ["Alexi","Alexis","Pete","Peter"],
                    "similarity" : [0.9,0.9,0.8,0.8]})

Обратите внимание, я не set_index test, но вы можете сделать это, это немного изменит следующее (см. Комментарии). Вы можете создать a фрейм данных, такой как: 

import itertools
a = pd.DataFrame([p for p in itertools.combinations(test['col_A'], 2)],columns =['A','B'],
                 index=['%s,%s'%p for p in itertools.combinations(test['row'], r=2)])
# here if you did set_index your test, then replace 
# index=['%s,%s'%p for p in itertools.combinations(test['row'], r=2)] by 
# index=['%s,%s'%p for p in itertools.combinations(test.index, r=2)]

И это выглядит так: 

          A      B
a,b  Alexis  Alexi
a,c  Alexis  Peter
a,d  Alexis   Pete
b,c   Alexi  Peter
b,d   Alexi   Pete
c,d   Peter   Pete

Затем вы можете использовать reset_index (чтобы получить текущий индекс в виде столбца, но это зависит от того, что именно вы хотите) merge с names для столбцов A и B, заполнить nan 0, отбросить два столбцы A и B и переименовать (при необходимости): 

a = a.reset_index().merge(names, how = 'left', on = ['A','B']).fillna(0).\
     drop(labels = ['A','B'], axis=1).rename(columns = {'index':'row', 'similarity':'col_A'})

Дайте мне знать, сможете ли вы делать то, что вы хотите после

РЕДАКТИРОВАТЬ: с новым выходом, который вы ищете, вы можете сделать: 

a = pd.DataFrame([p for p in itertools.combinations(test['col_A'], 2)],columns =['A','B'],
                 index=pd.MultiIndex.from_tuples([p for p in itertools.combinations(test.index, r=2)], names=['first', 'second']))

Примечание: itertools генерирует кортежи, которые используются в pd.MultiIndex.from_tuples для определения вашего мультииндексного DF.

Теперь вы можете merge (чтобы сохранить мультииндекс, вам нужно reset_index до и set_index после: 

a = a.reset_index().merge(names, how = 'left', on = ['A','B']).fillna(0).\
         drop(labels = ['A','B'], axis=1).set_index(['first', 'second'])
...