Использование tqdm с распределенным dask

Question

Я использую следующий код для распараллеливания функции обработки изображений:

from dask.distributed import Client
from dask.distributed import progress

def processImage(image_in_path, image_out_path)
    im = read_image(image_path)
    im_processed = gradient(im)
    write_image(im, image_out_path)

client = Client()

in_list = list_image(dir_path)
out_list = ...
comp = client.map(processImage, in_list, out_list)
progress(comp)

Поскольку я уже использую tqdm в своем коде и мне нравятся его возможности, можно ли использовать его для отображения прогресса в таких вычислениях?

Я вижу это сообщение , связывающее с запросом tqdm , но я думаю, что это для локального, а не распределенного. Так что это не сделано для распределенного интерфейса. Или, может быть, я что-то упустил ...

Я немного рассказал о прогрессе в dask, но мне неясно, как я мог подключить к нему tqdm ...

Есть решение?

Большое спасибо

Answer 1

Как вы предлагаете, вы можете реализовать индикатор выполнения tqdm так же, как реализована функция dask progress.Возможно, вы захотите использовать маршрут feed, чтобы получать ленту обновлений по завершении работы.