Данные различий панд DF должны быть одномерными - PullRequest
Новая
       13

Данные различий панд DF должны быть одномерными

2 голосов
/ 09 июля 2019

Я пытаюсь вычислить разницу в цене товара для комбинаций из магазина и товара следующим образом: 

index_cols = ['shop_id', 'item_id', 'date_block_num']

#get aggregated values for (shop_id, item_id, month)
gb = sales.groupby(index_cols).agg({'item_cnt_day':[np.sum], 'item_price':[np.mean]}).reset_index()\
.rename(columns={'sum': 'item_cnt_month','mean':'item_price'})

gb['diff'] = gb.groupby(['shop_id','item_id'])['item_price'].transform(np.diff).fillna(0)

gb

Как видите, я пытаюсь использовать np.diff (из numpy) для более быстрого вычислениякупить Я получаю следующую ошибку:

Исключение: данные должны быть одномерными

РЕДАКТИРОВАТЬ:

Образец данных: 

            shop_id   item_id date_block_num item_cnt_day item_price
            0         30      1              31.0         265.0
            0         31      1              11.0         434.0
            0         32      0              6.0          221.0
            0         32      1              10.0         221.0
            0         33      0              3.0          347.0
            59        22164   27             2.0          699.0
            59        22164   30             1.0          699.0
            59        22167   9              1.0          299.0
            59        22167   11             2.0          299.0
            59        22167   17             1.0          299.0

Любая идея, чтобы избежать этой ошибки при использовании NumPy или более быстрый способ сделать это?Спасибо.

1 Ответ

0 голосов
/ 09 июля 2019

Удалить списки из одного элемента для [np.mean] и [np.sum] до np.mean и np.sum для предотвращения MultiIndex в столбцах: 

gb = (sales.groupby(index_cols)
           .agg({'item_cnt_day':np.sum, 'item_price':np.mean})
           .reset_index()
           .rename(columns={'sum': 'item_cnt_month','mean':'item_price'}))

Тогда возможно использование (но не на 100% уверен, если лучшая производительность): 

gb['diff'] = gb.groupby(['shop_id','item_id'])['item_price'].diff()

EDIT:

Образец данных: 

index_cols = ['shop_id', 'item_id', 'date_block_num']

sales = pd.DataFrame({
        'item_id':list('aaaaaa'),
         'shop_id':list('aaabbb'),
         'date_block_num':[4,5,4,5,5,4],
         'item_cnt_day':[7,8,9,4,2,3],
         'item_price':[1,3,5,7,1,0]

})

gb = (sales.groupby(index_cols)
           .agg({'item_cnt_day':[np.sum], 'item_price':[np.mean]})
           .reset_index()
           .rename(columns={'sum': 'item_cnt_month','mean':'item_price'}))
print (gb)
  shop_id item_id date_block_num   item_cnt_day item_price
                                 item_cnt_month item_price
0       a       a              4             16          3
1       a       a              5              8          3
2       b       a              4              3          0
3       b       a              5              6          4

gb = (sales.groupby(index_cols)
           .agg({'item_cnt_day':np.sum, 'item_price':np.mean})
           .reset_index()
           .rename(columns={'sum': 'item_cnt_month','mean':'item_price'}))
print (gb)

  shop_id item_id  date_block_num  item_cnt_day  item_price
0       a       a               4            16           3
1       a       a               5             8           3
2       b       a               4             3           0
3       b       a               5             6           4
...