фреймы данных анти-объединения панд на разных уровнях в питоне - PullRequest
Новая
       20

фреймы данных анти-объединения панд на разных уровнях в питоне

0 голосов
/ 27 августа 2018

У меня есть два кадра данных панд, скажем, df1 и df2. У df1 есть 6 переменных, а у df2 5 переменных. и первая переменная в обоих фреймах данных находится в строковом формате, а расширение - в формате int.

Я хочу определить несовпадающие записи в обоих фреймах данных, используя первые 3 столбцы обоих фреймов данных и должны исключать их из фрейма данных df1.

для этого я попробовал следующий код, но он выдает значения Nan для меня, если я уроню Значения Nan, тогда необходимые данные будут удалены.

входные данные: - 

**df1:-**                 **df2:-**  

x1   x2 x3 x4 x5 x6      x1  x2 x3 x4 x5
SM   1  1  2  3  3       RK  2  4  3  4  
RK   2  2  3  4  5       SM  1  1  3  3  
NBR  1  2  2  5  6       NB  1  2  3  2
CBK  2  5  6  7  8       VSB 5  6  3  2  
VSB  5  6  4  2  1       CB  2  6  4  1
SB   6  2  3  2  1       SB  6  2  4  1

expected_out_put: - 

x1  x2 x3 x4 x5 x6
RK  2  2  3  4  5
CBK 2  5  6  7  8
NBR 1  2  2  5  6

Синтаксис: - 

data_out=df1[~df1['x1','x2','x3'].isin(df2['x1','x2','x3'])]
data_out=data_out.dropna()

пожалуйста, кто-нибудь может помочь мне справиться с этим.

Заранее спасибо.

1 Ответ

0 голосов
/ 28 августа 2018

Используйте merge с первым левым соединением, получите имена столбцов добавленных столбцов из df2 и отфильтруйте по ним все строки не NaN s: 

df = df1.merge(df2, on=['x1', 'x2', 'x3'], how='left', suffixes=('','_'))
print (df)
    x1  x2  x3  x4  x5  x6  x4_  x5_
0   SM   1   1   2   3   3  3.0  3.0
1   RK   2   2   3   4   5  NaN  NaN
2   NB   1   2   2   5   6  3.0  2.0
3   CB   2   5   6   7   8  NaN  NaN
4  VSB   5   6   4   2   1  3.0  2.0
5   SB   6   2   3   2   1  4.0  1.0

cols = df.columns.difference(df1.columns)
print (cols)
Index(['x4_', 'x5_'], dtype='object')

df = df.loc[df[cols].isnull().all(axis=1), df1.columns.tolist()]
print (df)
   x1  x2  x3  x4  x5  x6
1  RK   2   2   3   4   5
3  CB   2   5   6   7   8

EDIT:

С вашими примерами данных я получаю: 

df = df1.merge(df2, on=['x1', 'x2', 'x3'], how='left', suffixes=('','_'))
print (df)
    x1  x2  x3  x4  x5  x6  x4_  x5_
0   SM   1   1   2   3   3  3.0  3.0
1   RK   2   2   3   4   5  NaN  NaN
2  NBR   1   2   2   5   6  NaN  NaN
3  CBK   2   5   6   7   8  NaN  NaN
4  VSB   5   6   4   2   1  3.0  2.0
5   SB   6   2   3   2   1  4.0  1.0

cols = df.columns.difference(df1.columns)
print (cols)
Index(['x4_', 'x5_'], dtype='object')

df = df.loc[df[cols].isnull().all(axis=1), df1.columns.tolist()].x1.tolist()
print (df)
    x1  x2  x3  x4  x5  x6
1   RK   2   2   3   4   5
2  NBR   1   2   2   5   6
3  CBK   2   5   6   7   8
...