Dask Dataframe: определение метаданных для различий даты в groubpy

Question

Я пытаюсь найти время между покупками (то есть дни между заказами) для клиентов.Хотя мой код работает правильно без определения meta, я бы хотел, чтобы он работал правильно, и больше не вижу предупреждения с просьбой предоставить meta.

Кроме того, я был бы признателен за любые предложения о том, какиспользуйте map или map_partitions вместо apply.

Пока я пробовал:

• meta={'days_since_last_order': 'datetime64[ns]'}

• meta={'days_since_last_order': 'f8'}

• meta={'ORDER_DATE_DT':'datetime64[ns]','days_since_last_order': 'datetime64[ns]'}

• meta={'ORDER_DATE_DT':'f8','days_since_last_order': 'f8'}

• meta=('days_since_last_order', 'f8')

• meta=('days_since_last_order', 'datetime64[ns]')

Вот мой код:

import numpy as np
import pandas as pd
import datetime as dt
import dask.dataframe as dd
from dask.distributed import wait, Client

client = Client(processes=True)

start = pd.to_datetime('2015-01-01')
end = pd.to_datetime('2018-01-01')
d = (end - start).days + 1

np.random.seed(0)
df = pd.DataFrame()
df['CUSTOMER_ID'] = np.random.randint(1, 4, 10)
df['ORDER_DATE_DT'] = start + pd.to_timedelta(np.random.randint(1, d, 10), unit='d')
print(df.sort_values(['CUSTOMER_ID','ORDER_DATE_DT']))
print(df)

ddf = dd.from_pandas(df, npartitions=2)

# setting ORDER_DATE_DT as index to sort by date
ddf = ddf.set_index('ORDER_DATE_DT')
ddf = client.persist(ddf)
wait(ddf)

ddf = ddf.reset_index()
grp = ddf.groupby('CUSTOMER_ID')[['ORDER_DATE_DT']].apply(
    lambda df: df.assign(days_since_last_order=df.ORDER_DATE_DT.diff(1))
    # meta=????
)

# for some reason, I'm unable to print grp unless I reset_index()
grp = grp.reset_index()
print(grp.compute())

Вот распечатка df.sort_values(['CUSTOMER_ID','ORDER_DATE_DT'])

Вот распечатка grp.compute()