У меня есть следующий вариант использования, и мне интересно, поддерживается ли он в dask / dask-distribution.
Я хочу иметь процесс python, который создает клиентское соединение с удаленным кластером dask (я получил эту часть для работы). Затем отправляет задачу, выполнение которой занимает много времени. Затем печатает ключ будущего этой задачи. Потом выходит. Затем я хочу, чтобы пользователь мог позже запустить процесс Python и искать результаты с помощью этого ключа, а затем удалять результаты, когда они будут сделаны.
Мне известны apis publish_dataset / get_dataset, но, насколько я могу судить, они не предотвращают отмену будущего при закрытии Client и позволяют вам только перезапустить то же самое будущее позже .
Я заметил, что объект Client настроен так, что при закрытии он отменяет все принадлежащие ему фьючерсы, что предотвращает мой приведенный выше вариант использования. Мне было интересно, есть ли лучший способ добиться того, чего я пытаюсь достичь выше, или есть ли способ заставить клиента не отменять все при закрытии.
Спасибо.