Как применить пересечение к предыдущим строкам на многоиндексных пандах? - PullRequest
Новая
       14

Как применить пересечение к предыдущим строкам на многоиндексных пандах?

0 голосов
/ 01 марта 2019

Итак, это мой индекс Multi: 

pd.DataFrame({'category':['A','A','A','B','B','B'],
              'row':[1,2,3,1,2,3],
              'unique':[{0,1,2},{2,3,4},{1,5,6},{0,1,2},{3,4,5},{4,5,6}],
              'new':[{0,1,2},{3,4},{5,6},{0,1,2},{3,4,5},{6}]}).set_index(['category','row'])

, который выглядит так: 

Category  row  unique    new      
A          1   {0,1,2}  {0,1,2}
           2   {2,3,4}    {3,4}
           3   {1,5,6}    {5,6}   

B          1   {0,1,2}  {0,1,2}
           2   {3,4,5}  {3,4,5}
           3   {4,5,6}      {6}

Я пытаюсь применить что-то вроде A.1 ['new'] intersect A.2['unique']

Ожидаемые результаты: 

Category  row  unique    new      Previous Row Returned
A          1   {0,1,2}  {0,1,2}          None
           2   {2,3,4}    {3,4}           {2}
           3   {1,5,6}    {5,6}            {}

B          1   {0,1,2}  {0,1,2}          None
           2   {3,4,5}  {3,4,5}            {}
           3   {4,5,6}      {6}         {4,5}

Как мне подойти к этому?

1 Ответ

0 голосов
/ 01 марта 2019

Работа без скаляра в пандах должна быть медленной, но при необходимости: 

#shift values per groups 
df['Previous Row Returned'] = df.groupby(level=0)['new'].shift()
#boolean mask - working only for not missing values
mask = df['Previous Row Returned'].notnull()
#get intersection
f = lambda x: x['unique'].intersection(x['Previous Row Returned'])
df.loc[mask, 'Previous Row Returned'] = df.loc[mask].apply(f, axis=1)
print (df)
                 unique        new Previous Row Returned
Category row                                            
A        1    {0, 1, 2}  {0, 1, 2}                   NaN
         2    {2, 3, 4}     {3, 4}                   {2}
         3    {1, 5, 6}     {5, 6}                    {}
B        1    {0, 1, 2}  {0, 1, 2}                   NaN
         2    {3, 4, 5}  {3, 4, 5}                    {}
         3    {4, 5, 6}        {6}                {4, 5}
...