Groupby - прокатная альтернатива в Даске - PullRequest
Новая
       11

Groupby - прокатная альтернатива в Даске

2 голосов
/ 22 марта 2019

Я пытаюсь реализовать скользящее среднее, которое сбрасывается, когда встречается «1» в столбце с меткой «A».

Например, в Pandas работает следующая функциональность. 

import pandas as pd

x = pd.DataFrame([[0,2,3], [0,5,6], [0,8,9], [1,8,9],[0,8,9],[0,8,9], [0,3,5], [1,8,9],[0,8,9],[0,8,9], [0,3,5]])
x.columns = ['A', 'B', 'C']

x['avg'] = x.groupby(x['A'].cumsum())['B'].rolling(2).mean().values

Если я попробую аналогичный код в Dask, я получу следующее: 

import pandas as pd
import dask

x = pd.DataFrame([[0,2,3], [0,5,6], [0,8,9], [1,8,9],[0,8,9],[0,8,9], [0,3,5], [1,8,9],[0,8,9],[0,8,9], [0,3,5]])
x.columns = ['A', 'B', 'C']

x = dask.dataframe.from_pandas(x, npartitions=3)

x['avg'] = x.groupby(x['A'].cumsum())['B'].rolling(2).mean().values
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-189-b6cd808da8b1> in <module>()
      7 x = dask.dataframe.from_pandas(x, npartitions=3)
      8 
----> 9 x['avg'] = x.groupby(x['A'].cumsum())['B'].rolling(2).mean().values
     10 x

AttributeError: 'SeriesGroupBy' object has no attribute 'rolling'

После поиска в документации по Dask API мне не удалось найти реализацию того, что я ищу.

Кто-нибудь может предложить реализацию этого алгоритма совместимым с Dask способом?

Спасибо:)

С тех пор я нашел следующий фрагмент кода: 

df1 = ddf.groupby('cumsum')['x'].apply(lambda x: x.rolling(2).mean(), meta=('x', 'f8')).compute()

при Функция прокрутки по групповому синтаксису .

Вот пример адаптированной игрушки: 

import pandas as pd
import dask.dataframe as dd

x = pd.DataFrame([[1,2,3], [2,3,4], [4,5,6], [2,3,4], [4,5,6],  [4,5,6], [2,3,4]])
x['bool'] = [0,0,0,1,0,1,0]
x.columns = ['a', 'b', 'x', 'bool']

ddf = dd.from_pandas(x, npartitions=4)
ddf['cumsum'] = ddf['bool'].cumsum()

df1 = ddf.groupby('cumsum')['x'].apply(lambda x: x.rolling(2).mean(), meta=('x', 'f8')).compute()
df1

Это имеет правильную функциональность, но порядок индексов теперь неверен. В качестве альтернативы, если кто-то знает, как сохранить порядок индекса, это было бы подходящим решением.

1 Ответ

0 голосов
/ 27 марта 2019

Возможно, вы захотите построить собственную операцию прокрутки, используя методы map_overlap или _cum_agg (cum_agg, к сожалению, плохо документирован).

...