Сообщите о ходе работы внутри отложенной задачи Dask обратно в поток клиента

Question

Я хотел бы использовать задачу Dask delayed для вызова внешней программы, которая выводит ее прогресс на STDOUT. В delayed я планирую отслеживать STDOUT и хотел бы обновить процесс Client, ожидающий задачу delayed, с информацией о ходе выполнения, извлеченной из STDOUT. Есть ли рекомендуемый способ для задачи delayed взаимодействовать с ее Client процессами, или мне нужно выполнить свою собственную?

Answer 1

Вы можете достичь такого типа потока с любым из координационных примитивов или актеров , предоставленных dask. Из вашего описания механизмы Queue или pubsub кажутся любимыми. Следует отметить, что все это, как правило, предназначено для низкочастотных и малообъемных коммуникаций.