Панды - Временные ряды нескольких срезов группы данных по идентификатору - PullRequest
Новая
       8

Панды - Временные ряды нескольких срезов группы данных по идентификатору

0 голосов
/ 14 февраля 2019

Что у меня есть:

Кадр данных, df состоит из 3 столбцов (Id, Item and Timestamp).Каждый предмет имеет уникальный Id с записанным Item на определенную дату и время (Timestamp).Второй кадр данных, df_ref, состоит из ссылки на диапазон времени и даты для нарезки df, Start и End для каждого субъекта, Id.

df: 

         Id      Item      Timestamp
   0     1       aaa       2011-03-15 14:21:00
   1     1       raa       2012-05-03 04:34:01
   2     1       baa       2013-05-08 22:21:29
   3     1       boo       2015-12-24 21:53:41
   4     1       afr       2016-04-14 12:28:26
   5     1       aud       2017-05-10 11:58:02
   6     2       boo       2004-06-22 22:20:58
   7     2       aaa       2005-11-16 07:00:00
   8     2       ige       2006-06-28 17:09:18
   9     2       baa       2008-05-22 21:28:00
   10    2       boo       2017-06-08 23:31:06
   11    3       ige       2011-06-30 13:14:21
   12    3       afr       2013-06-11 01:38:48
   13    3       gui       2013-06-21 23:14:26
   14    3       loo       2014-06-10 15:15:42
   15    3       boo       2015-01-23 02:08:35
   16    3       afr       2015-04-15 00:15:23
   17    3       aaa       2016-02-16 10:26:03
   18    3       aaa       2016-06-10 01:11:15
   19    3       ige       2016-07-18 11:41:18
   20    3       boo       2016-12-06 19:14:00
   21    4       gui       2016-01-05 09:19:50
   22    4       aaa       2016-12-09 14:49:50  
   23    4       ige       2016-11-01 08:23:18

df_ref: 

         Id     Start                   End
    0    1      2013-03-12 00:00:00     2016-05-30 15:20:36
    1    2      2005-06-05 08:51:22     2007-02-24 00:00:00
    2    3      2011-05-14 10:11:28     2013-12-31 17:04:55
    3    3      2015-03-29 12:18:31     2016-07-26 00:00:00

Что я хочу:

Срезать df кадр данных на основедиапазон времени данных, заданный для каждого Id (идентификатор группы) в df_ref, и объединить нарезанные данные в новый кадр данных.Тем не менее, субъект может иметь более одного диапазона времени даты (в этом примере Id = 3 имеет 2 диапазона времени даты).

df_expected: 

         Id      Item      Timestamp
     0   1       baa       2013-05-08 22:21:29
     1   1       boo       2015-12-24 21:53:41
     2   1       afr       2016-04-14 12:28:26
     3   2       aaa       2005-11-16 07:00:00
     4   2       ige       2006-06-28 17:09:18
     5   3       ige       2011-06-30 13:14:21
     6   3       afr       2013-06-11 01:38:48
     7   3       gui       2013-06-21 23:14:26
     8   3       afr       2015-04-15 00:15:23
     9   3       aaa       2016-02-16 10:26:03
     10  3       aaa       2016-06-10 01:11:15
     11  3       ige       2016-07-18 11:41:18

Что я сделал до сих пор:

Я ссылался на этот пост ( Несколько рядов временных рядов ) в то время какделаю мой код.Я изменяю код, так как в нем нет нужного мне элемента groupby.

Мой код: 

from datetime import datetime

df['Timestamp'] = pd.to_datetime(df.Timestamp, format='%Y-%m-%d %H:%M')

x = pd.DataFrame()
for pid in def_ref.Id.unique():
    selection = df[(df['Id']== pid) & (df['Timestamp']>= def_ref['Start']) & (df['Timestamp']<= def_ref['End'])]
    x = x.append(selection)

Приведенный выше код дает ошибку: 

ValueError: Can only compare identically-labeled Series objects

1 Ответ

0 голосов
/ 14 февраля 2019

Первое использование merge с внутренним объединением по умолчанию, также оно создает все комбинации для дублирующихся Id.Затем выполните фильтрацию по between и DataFrame.loc для фильтрации по условиям и по df1.columns за один шаг: 

df1 = df.merge(df_ref, on='Id')
df2 = df1.loc[df1['Timestamp'].between(df1['Start'], df1['End']), df.columns]
print (df2)
    Id Item           Timestamp
2    1  baa 2013-05-08 22:21:29
3    1  boo 2015-12-24 21:53:41
4    1  afr 2016-04-14 12:28:26
7    2  aaa 2005-11-16 07:00:00
8    2  ige 2006-06-28 17:09:18
11   3  ige 2011-06-30 13:14:21
13   3  afr 2013-06-11 01:38:48
15   3  gui 2013-06-21 23:14:26
22   3  afr 2015-04-15 00:15:23
24   3  aaa 2016-02-16 10:26:03
26   3  aaa 2016-06-10 01:11:15
28   3  ige 2016-07-18 11:41:18
...