дроп дублируется и конкатится pandas - PullRequest
Новая
       10

дроп дублируется и конкатится pandas

1 голос
/ 11 марта 2020

У меня есть фрейм данных, который выглядит следующим образом: 

'id': ["1", "2", "1", "3", "3", "4"],
'date': ["2017", "2011", "2019", "2013", "2017", "2018"],
'code': ["CB25", "CD15", "CZ10", None, None, "AZ51"],
'col_example': ["22", None, "22", "55", "55", "121"],
'comments': ["bonjour", "bonjour", "bonjour", "hola", "Hello", None]

Результат: 

  id   date  code      col_example   ....       comments
0  1   2019  CB25/CZ10          22   ....        bonjour (and not bonjour // bonjour)
1  2   2011  CD15             None   ....        bonjour
2  3   2017  None               55   ....  hola // Hello
3  4   2018  AZ51              121   ....           None

Я хочу сохранить один идентификатор

Если два идентификатора являются то же самое, я хотел бы:

Если comments = None и = str: оставить только те комментарии, которые не являются None (пример: id = 1, оставить комментарии «привет»). Если два комментария = str: объединить два комментария с "//" (пример id = 3, comments = "hola // hello")

На данный момент я попытался с sort_value и drop_duplicate без успеха

спасибо

1 Ответ

1 голос
/ 11 марта 2020

Я полагаю, вам нужно DataFrame.dropna по столбцу comments, а затем GroupBy.agg с join и GroupBy.last, последнее добавление DataFrame.mask для замены пустых строк на None строк: 

df1 = (df.groupby('id')
         .agg({'date': 'last',
               'comments': lambda x: ' // '.join(x.dropna())})
         .replace({'comments': {'': None}})
         .reset_index())

print (df1)
  id  date       comments
0  1  2019        bonjour
1  2  2011        bonjour
2  3  2017  hola // Hello
3  4  2018           None

РЕДАКТИРОВАТЬ: для избежания удаления всех столбцов необходимо агрегировать все из них, вы можете создать словарь для динамического агрегирования c нравится: 

df = pd.DataFrame({'id': ["1", "2", "1", "3", "3", "4"],
'date': ["2017", "2011", "2019", "2013", "2017", "2018"],
'code': ["CB25", "CD15", "CB25", None, None, "AZ51"],
'col_example': ["22", None, "22", "55", "55", "121"],

'comments': [None, "bonjour", "bonjour", "hola", "Hello", None]})
print (df)
  id  date  code col_example comments
0  1  2017  CB25          22     None
1  2  2011  CD15        None  bonjour
2  1  2019  CB25          22  bonjour
3  3  2013  None          55     hola
4  3  2017  None          55    Hello
5  4  2018  AZ51         121     None

d = dict.fromkeys(df.columns.difference(['id','comments']), 'last')
d['comments'] = lambda x: ' // '.join(x.dropna())
print (d)
{'code': 'last', 'col_example': 'last', 'date': 'last', 
       'comments': <function <lambda> at 0x000000000ECA99D8>}

df1 = (df.groupby('id')
         .agg(d)
         .replace({'comments': {'': None}})
         .reset_index())

print (df1)
  id  code col_example  date       comments
0  1  CB25          22  2019        bonjour
1  2  CD15        None  2011        bonjour
2  3  None          55  2017  hola // Hello
3  4  AZ51         121  2018           None
...