Используйте уже выполненные вычисления с умом

Question

Если у меня есть датафрейм dask df. Теперь я применяю некоторые вычисления.

Математически

df1 = f1 (df)

df2 = f2 (df1)

df3 = f3 (df1)

Теперь, если я бегу, df2.compute(), теперь после этого, если я бегу df1.compute(). Как мне остановить dask от пересчета результата df1?

В другом случае, если я запускаю df3.compute(), тогда df2.compute(). Как я могу сказать dask использовать уже вычисленное значение df1 (которое вычисляется в df3.compute()) при запуске df2.compute()?

Answer 1

Вы можете использовать dask.persist для создания кадра данных dask с вычисленным подграфом или вычислением.

Если вы используете локальный планировщик, вам следует взглянуть на dask.cache.Cache

from dask.cache import Cache
cache = Cache(4e9).register()