Как мне превратить фрейм данных события с "конечными" и "стартовыми" строками в перегруппированный по событию фрейм данных? - PullRequest
Новая
       68

Как мне превратить фрейм данных события с "конечными" и "стартовыми" строками в перегруппированный по событию фрейм данных?

3 голосов
/ 26 мая 2020

У меня есть набор событий, отсортированных в хронологическом порядке. Я использую pandas фреймов данных. Вот как выглядит фрейм данных: 

Time                         Event   Location    ID
2020-05-22 21:22:04.784622   start   UK          50
2020-05-22 21:43:07.060629   end     UK          50
2020-05-25 23:22:04.784622   start   UK          50
2020-05-25 23:43:07.060629   end     UK          50
2020-05-25 23:44:15.000566   start   US          30
2020-05-25 23:48:23.416348   start   Italy       70
2020-05-26 00:48:06.820164   end     US          30
2020-05-26 01:33:42.454450   end     Italy       70
2020-05-27 20:48:23.416348   start   Italy       30
2020-05-27 00:33:42.454450   end     Italy       30
etc

Вот что я хотел бы из него сделать: 

Start_Time                   End_Time                    Location    ID
2020-05-22 21:22:04.784622   2020-05-22 21:43:07.060629  UK          50
2020-05-25 23:22:04.784622   2020-05-25 23:43:07.060629  UK          50
2020-05-25 23:44:15.000566   2020-05-26 00:48:06.820164  US          30
2020-05-25 23:48:23.416348   2020-05-26 01:33:42.45445   Italy       70
2020-05-27 20:48:23.416348   2020-05-27 00:33:42.454450  Italy       30
etc

Я пробовал создавать отдельные фреймы данных (один для начала, один for end) и объединить их по Location и ID, но, очевидно, это не сработает. Я также смотрел на похожие вопросы и не мог понять это оттуда. Кто-нибудь знает, как я это делаю?

Изменить: Кроме того, в кадре данных будет несколько событий с одинаковыми местоположениями или идентификаторами. Отредактировал данные в примере, чтобы точнее отразить мой набор данных

1 Ответ

4 голосов
/ 26 мая 2020

Один из способов - установить индекс для последних трех столбцов и распаковать столбец событий после. 

df = pd.read_clipboard(sep='\s{2,}', engine='python', parse_dates=['Time'])

res = (df
       #appending Event,Location and ID with current index
       #prevents duplicate values when unstacking
       .set_index(['Event','Location','ID'], append=True)
       #get Event index as column
       .unstack('Event')
       #topmost column level redundant ... remove
       .droplevel(0,axis=1)
       #fill upwards on the end to align the dates to 
       #the appropriate positions
       .assign(end = lambda x: x['end'].bfill())
       .dropna()
       .add_suffix("_time")
       .reset_index()
       .drop("level_0", axis=1)
       .reindex(['start_time','end_time','Location','ID'], axis=1)
       .rename_axis(None,axis=1)
      )

res



          start_time                      end_time      Location    ID
0   2020-05-22 21:22:04.784622  2020-05-22 21:43:07.060629  UK      50
1   2020-05-25 23:22:04.784622  2020-05-25 23:43:07.060629  UK      50
2   2020-05-25 23:44:15.000566  2020-05-26 00:48:06.820164  US      30
3   2020-05-25 23:48:23.416348  2020-05-26 00:48:06.820164  Italy   70
4   2020-05-27 20:48:23.416348  2020-05-27 00:33:42.454450  Italy   30
...