В ожидании внешних зависимостей в сумерках - PullRequest
0 голосов
/ 20 мая 2019

Контекст: Я использую пользовательские dask графики для управления и распространения вычислений.

Проблема: Некоторые задачи включают чтение в файлахкоторые производятся вне dask и не обязательно доступны во время вызова dask.get(graph,result_key).

Вопрос: Задание ожидания ввода-вывода файлов не является вариантом, так как это блокируетработников.Есть ли (или который был бы) хороший способ позволить dask ждать, пока файлы станут доступными, и только затем выполнять задачи ввода-вывода?

Большое спасибо за любые мысли!

1 Ответ

0 голосов
/ 23 мая 2019

Звучит так, как будто вы захотите использовать некоторые функции Dask в режиме реального времени, описанные здесь .

Возможно, вы захотите создать задачи, использующие secede и присоединяйтесь или используйте программирование в стиле async-await и запускайте задачи только после того, как ваш клиентский процесс заметит, что они существуют.

...