Сопоставление шаблонов для временных рядов с использованием dask

Question

Я хотел бы использовать сопоставление шаблонов с временными рядами, и я хотел бы иметь возможность портировать это на очень большие наборы данных. Цель состоит в том, чтобы найти много относительно коротких 1d паттернов в относительно длинных временных рядах. Любое предложение о том, как сделать это в Даске? Я имею в виду что-то вроде https://docs.dask.org/en/latest/dataframe-api.html#dask.dataframe.Series.corr со многими other и split_every равными или меньшими, чем длина other ...

Спасибо!

Answer 1

Я рекомендую решить эту проблему сначала на фреймах данных pandas, а затем с помощью метода map_partitions применить ваше решение к каждому фрейму данных pandas, составляющему фрейм данных dask.

Если вашему решению требуются соседние строки, чтобыработать, то я бы посмотрел на map_overlap

• https://docs.dask.org/en/latest/dataframe-api.html#dask.dataframe.DataFrame.map_partitions
• https://docs.dask.org/en/latest/dataframe-api.html#dask.dataframe.DataFrame.map_overlap