Pandas считать ежемесячные вхождения с условием между строками - PullRequest
Новая
       47

Pandas считать ежемесячные вхождения с условием между строками

2 голосов
/ 28 апреля 2020

У меня есть датафрейм, подобный этому 

                              oper_status
2012-01-01 00:26:54.250            0
2012-01-01 12:11:54.250            1
2012-01-01 13:57:54.250            2
2012-01-02 00:16:54.250            0
2012-01-02 14:26:54.250            1
2012-01-02 17:20:54.250            0
2012-01-04 08:21:54.250            0
2012-01-04 15:34:54.250            1
2012-01-04 19:45:54.250            0
2012-01-05 01:00:54.250            0
2012-01-05 12:46:54.250            1
2012-01-05 20:27:54.250            2
        (...)                    (...)

, и я хочу подсчитать, сколько раз в месяц у меня есть последовательные значения с этим шаблоном: 0,1,2. Я попытался зациклить строки с помощью iterrows (), но это очень медленно, так как у меня большой набор данных. Я также думал об использовании "diff", но я не могу найти простой способ сделать это. Спасибо

РЕДАКТИРОВАТЬ: ожидаемый результат, как это 

              count
time                      
2012-03-31     244
2012-04-30     65
2012-05-31     167
2012-06-30     33
2012-07-31     187
            ...     ...
2013-05-31     113
2013-06-30     168
2013-07-31     294
2013-08-31     178
2013-09-30     65

1 Ответ

2 голосов
/ 28 апреля 2020

Подсчет последовательных паттернов является двухэтапным процессом. Сначала создайте последовательность для каждой строки, представляющую шаблон, заканчивающийся в этой строке: 

df['seq'] = df.order_status.astype(str).shift(periods=0) + '-' + 
            df.order_status.astype(str).shift(periods=1) + '-' + 
            df.order_status.astype(str).shift(periods=2)

                      date  order_status    seq
0  2012-01-01 00:26:54.250             0    NaN
1  2012-01-01 12:11:54.250             1    NaN
2  2012-01-01 13:57:54.250             2  2-1-0
3  2012-01-02 00:16:54.250             0  0-2-1
4  2012-01-02 14:26:54.250             1  1-0-2
5  2012-01-02 17:20:54.250             0  0-1-0
6  2012-01-04 08:21:54.250             0  0-0-1
7  2012-01-04 15:34:54.250             1  1-0-0
8  2012-01-04 19:45:54.250             0  0-1-0
9  2012-01-05 01:00:54.250             0  0-0-1
10 2012-01-05 12:46:54.250             1  1-0-0
11 2012-01-05 20:27:54.250             2  2-1-0

Затем выполните фильтрацию только до правильных последовательностей и агрегируйте до нужного уровня: 

df['month'] = df.date.dt.month    
df[df.seq == '2-1-0'].groupby("month").month.count()

month
1    2

Измените, если необходимо, случаи, когда вы хотите, чтобы паттерны начинались с определенного периода и останавливались там полностью внутри, et c ...

...