Мониторинг прогресса dd.DataFrame.apply

Question

Как я могу отслеживать ход выполнения операции применения Dask DataFrame по строкам?

Перенос строки с ProgressBar(), похоже, ничего не делает, т.е. на консоли ничего не печатается?

from dask.diagnostics import ProgressBar
with ProgressBar():
    df_calc = ddf.apply(myfunc, axis=1)

Answer 1

Операции Dask по умолчанию ленивы. Вычисление происходит только когда вы звоните compute или persist.

df = dd.read_csv(...)        # This lazily builds up a computation
df = df[df.name == 'alice']  # This lazily builds up a computation
result = df.amount.sum()     # This lazily builds up a computation
result = result.compute()    # This triggers actual work