Использование еще не реализованных функций Pandas в Dask

Question

Мне кажется, я видел рекомендацию в одном из учебных пособий по Dask о том, как использовать функции Pandas, которые еще не реализованы в платформе Dask, при работе с фреймами данных Dask, но, похоже, я не в том месте, где видел это.Например, я хотел бы использовать функцию панд 'ewm'.

В качестве обходного пути я преобразовал свои кадры данных Dask в кадры данных Pandas, запустил ewm над кадрами данных Pandas, а затем преобразовал их обратно в Dask для более поздних операций с большим объемом памяти.Не самый эффективный.

Есть ли лучшая стратегия для этого?

Answer 1

Существует множество общих функций более низкого уровня, которые можно использовать для создания функций Dask Dataframe, таких как map_partitions, настраиваемые агрегации, прокрутка и другие.

Здесь есть дополнительная информация: https://docs.dask.org/en/latest/best-practices.html#learn-techniques-for-customization