фильтр временных рядов pandas датафрейм по значению столбца - PullRequest
Новая
       8

фильтр временных рядов pandas датафрейм по значению столбца

0 голосов
/ 29 апреля 2020

Этот вопрос является дополнением к этому вопросу: фильтр многоиндексированных сгруппированных pandas фрейм данных

Я хочу получить все данные (по времени) после date, начиная с первого value больше нуля. (применяется для каждого id)

Пример Входные данные: 

id  timestamp   date        value
1   2001-01-01  2001-05-01  1
1   2001-10-01  2001-05-01  0
1   2001-10-02  2001-05-01  1
1   2001-10-03  2001-05-01  0
1   2001-10-04  2001-05-01  1

Требуются Пример выходных данных: 

id  timestamp   date        value
1   2001-10-02  2001-05-01  1
1   2001-10-03  2001-05-01  0
1   2001-10-04  2001-05-01  1

1 Ответ

1 голос
/ 29 апреля 2020

Сначала отфильтруйте по Series.gt по другому столбцу, затем создайте GroupBy.cumsum, отфильтруйте по большему, например 0, и добавьте в последний раз удаленные значения по DataFrame.reindex : 

df['timestamp'] = pd.to_datetime(df['timestamp'])
df['date'] = pd.to_datetime(df['date'])
df = df.sort_values(['id','timestamp'])

m = df['timestamp'].gt(df['date'])
m1 = df[m].groupby('id')['value'].cumsum().gt(0).reindex(df.index, fill_value=False)
df = df[m1]
print (df)
   id  timestamp       date  value
2   1 2001-10-02 2001-05-01      1
3   1 2001-10-03 2001-05-01      0
4   1 2001-10-04 2001-05-01      1

Другая идея с заменой столбца на Series.where: 

df['timestamp'] = pd.to_datetime(df['timestamp'])
df['date'] = pd.to_datetime(df['date'])
df = df.sort_values(['id','timestamp'])

m = df['timestamp'].gt(df['date'])
m1 = df.assign(value = df['value'].where(m, 0)).groupby('id')['value'].cumsum().gt(0)
df = df[m1]
print (df)
   id  timestamp       date  value
2   1 2001-10-02 2001-05-01      1
3   1 2001-10-03 2001-05-01      0
4   1 2001-10-04 2001-05-01      1
...