Как объединить столбцы и значения столбцов сводки в новый столбец одновременно в рамках фрейма данных? - PullRequest
Новая
       6

Как объединить столбцы и значения столбцов сводки в новый столбец одновременно в рамках фрейма данных?

0 голосов
/ 24 января 2019

У меня есть df, который выглядит так (столбец 10_value должен быть рядом с 10_type, не знаю, как его отформатировать): 

 0_0_type  0_0_value 0_1_type 0_1_value 0_firstname_value 0_lastname_value 10_0_type  
   uuid        1       ID         2           test1          test1    uuid   
   uuid        2    EMAIL    email1             NaN            NaN    uuid   
   uuid        3    EMAIL    email2             NaN            NaN    uuid   
   uuid        4    EMAIL    email3           test2          test2    uuid   
   uuid        5    EMAIL    email4             NaN            NaN    uuid   
   uuid        6    EMAIL    email5           test3          test3    uuid   
   uuid        7    EMAIL    email6           test4          test4    uuid   
   uuid        8    EMAIL    email7           test5          test5    uuid   
   uuid        9    EMAIL    email8           test6          test6    uuid   

   10_0_value 10_1_type  10_1_value   10_firstname_value  10_lastname_value  
        10     EMAIL     email9             test7            test7  
        11     EMAIL    email10             test8            test8  
        12     EMAIL    email11             test9            test9  
        13     EMAIL    email12            test10           test10  
        14     EMAIL    email13            test11           test11  
        15     EMAIL    email14            test12           test12  
        16     EMAIL    email15            test13           test13  
        17     EMAIL    email16            test14           test14  
        18     EMAIL    email17            test15           test15

У меня есть 1500К столбцов с таким типом структуры имен столбцов. Разница лишь в том, что номер на передней панели меняется, в этом случае 0 или 10.

Мне нужны только четыре элемента данных, которые uuid,email,first_name,last_name.

Как мне:

  1. сканирует весь фрейм данных на наличие фразы first_name или last_name и складывает записи друг над другом

одновременно

  1. извлечь EMAIL и uuid в собственную колонку?

Конечный df должен выглядеть так: 

   uuid    EMAIL  first_name      last_name
0       1      NaN       test1          test1
1       2   email1         NaN            NaN
2       3   email2         NaN            NaN
3       4   email3       test2          test2
4       5   email4         NaN            NaN
5       6   email5       test3          test3
6       7   email6       test4          test4
7       8   email7       test5          test5
8       9   email8       test6          test6
9      10   email9       test7          test7
10     11  email10       test8          test8
11     12  email11       test9          test9
12     13  email12      test10         test10
13     14  email13      test11         test11
14     15  email14      test12         test12
15     16  email15      test13         test13
16     17  email16      test14         test14
17     18  email17      test15         test15

1 Ответ

0 голосов
/ 24 января 2019

Хорошо, давайте попробуем этот бит кода для именования этих столбцов.Во-первых, переименуйте столбцы, чтобы переместить увеличенный индекс после разделителя: «Я выбираю.Затем используйте pd.wide_to_long, чтобы изменить форму фрейма данных, и, наконец, filter фрейм данных, чтобы выбрать только столбцы «значения». 

df.columns = df.columns.str.replace(r'(\d+)_(\w+)',r'\2:\1')
pd.wide_to_long(df.reset_index(),
                ['0_type','1_type','0_value','1_value','firstname_value','lastname_value'],
                'index',
                'Num',
                sep=':')\
  .reset_index()\
  .filter(like='value')

output: 

    0_value  1_value firstname_value lastname_value
0         1        2           test1          test1
1         2   email1             NaN            NaN
2         3   email2             NaN            NaN
3         4   email3           test2          test2
4         5   email4             NaN            NaN
5         6   email5           test3          test3
6         7   email6           test4          test4
7         8   email7           test5          test5
8         9   email8           test6          test6
9        10   email9           test7          test7
10       11  email10           test8          test8
11       12  email11           test9          test9
12       13  email12          test10         test10
13       14  email13          test11         test11
14       15  email14          test12         test12
15       16  email15          test13         test13
16       17  email16          test14         test14
17       18  email17          test15         test15
...