Я пытаюсь использовать dask.distributed для отправки очень долго работающего задания на несколько машин. Каждая машина должна работать полностью независимо и всегда выполнять следующее задание, когда оно выполнено. Так что это действительно просто очередь задач.
В сельдерее я могу запустить работника с помощью celer.work_main (). Затем он запустит работника, который ждет, когда работа будет доставлена через мессенджер (например, redis). Как только я вызываю его с apply_async, я могу отлаживать работу, которую обрабатывает работник.
Есть ли аналогичная функция для этого в dask.distributed? Как я могу запустить работника в режиме отладки и посмотреть, как он подхватывает задание и затем отлаживает код, который он выполняет?