Dask прогресс во время задания

Question

С помощью dask dataframe с использованием
df = dask.dataframe.from_pandas(df, npartitions=5) series = df.apply(func) future = client.compute(series) progress(future)

В блокноте jupyter я вижу индикатор выполнения для количества выполненных вызовов apply () на раздел (например, 2/5).
Есть ли способ для dask сообщать о прогрессе внутри каждого раздела?
Что-то вроде tqdm progress_apply() для pandas.

Answer 1

Если вы имеете в виду, насколько завершен каждый вызов func(), то нет, у Даска нет возможности узнать это. Dask вызывает python функции, которые выполняются в своем собственном потоке python (потоки python не могут быть прерваны другим потоком), и Dask знает только, выполнен ли вызов или нет.

Возможно, вы можете представить себе вызова функции с внутренними обратными вызовами или другой системой отчетности, но я не думаю, что видел что-то подобное.