Объединение строк на основе вхождения и при сохранении уникальных значений в DataFrame в Python - PullRequest
Новая
       4

Объединение строк на основе вхождения и при сохранении уникальных значений в DataFrame в Python

2 голосов
/ 09 марта 2020

DataFrame: 

Name         Category        Port          Class
A                Code         443        string1
A                Code          80        string2
B                Math         443        string3
A                Code         443        string1
B                Math          80        string4

Код, который я пробовал: 

df1 = df.name.ne(df.name.shift())
count = df.name.groupby(df1.cumsum()).size()

Вывод, который я получил: 

Name     Category      Port       Class     Count
A            Code       443     string1         2
B            Math       443     string3         1
A            Code       443     string1         1
B            Math        80     string4         1

Вывод, который я хочу: 

Name    Category         Port               Class   Count
A           Code      443, 80    string1, string2       2
B           Math          443             string3       1
A           Code          443             string1       1
B           Math           80             string4       1

Любая помощь приветствуется.

Ответы [ 2 ]

0 голосов
/ 09 марта 2020

Ключевым моментом здесь является обозначение последовательных строк с общим именем и категорией. Простой трюк заключается в использовании shift и cumsum: 

x = pd.Series(np.where((df['Name'] == df1['Name'])&(df['Category'] == df1['Category']), 0, 1),
              index = df.index).cumsum()

Как только это будет сделано, groupby и agg выполнят свою работу: 

df.assign(Count=1, Port=df['Port'].astype(str)).groupby(['Name', 'Category',x]).agg(
    {'Port': ', '.join, 'Class': ', '.join, 'Count': 'sum'}).reset_index().drop(columns='level_2')

Это дает: 

  Name Category     Port             Class  Count
0    A     Code  443, 80  string1, string2      2
1    A     Code      443           string1      1
2    B     Math      443           string3      1
3    B     Math       80           string4      1
0 голосов
/ 09 марта 2020

Использование groupby и agg с соответствующими функциями должно дать вам то, что вы хотите. Ниже используется list, что приведет к сохранению всех значений. Если вам нужны только уникальные значения, вы можете изменить это значение на set. 

df['cumsum'] = df.Name.ne(df.Name.shift()).cumsum()
df2 = df.groupby(df["cumsum"]).agg({'Name': 'first', 'Category': 'first', 'Port': list, 'Class': [list, 'count']})
df2.columns = df2.columns.droplevel(1).values[:-1].tolist() + ['Count']
df2 = df2.reset_index(drop=True)

Это даст вам: 

  Name  Category       Port               Class  Count
0    A      Code  [443, 80]  [string1, string2]      2
1    B      Math      [443]           [string3]      1
2    A      Code      [443]           [string1]      1
3    B      Math       [80]           [string4]      1
...