Возможность заблокировать рабочий день до завершения определенного пост-задания / шагов - PullRequest
0 голосов
/ 20 сентября 2019

Попытка отправить задачу работнику и вернуть результаты.Однако необходимо выполнить сборку мусора на рабочем месте, чтобы избежать наращивания памяти из существующей задачи.Хотел бы выполнить gc async и вернуть значение от worker, но не позволять работнику выбирать новые задачи, пока gc не будет завершен.

Изучил распределенный. Заблокируйте немного, но не уверен, поможет ли это здесь.Также интересно, поможет ли здесь secede ().

1 Ответ

0 голосов
/ 21 сентября 2019

Процессы Python регулярно вызывают gc.collect.Обычно нет необходимости вызывать его вручную.

Если вы хотите, вы можете вызвать client.run(gc.collect), чтобы запустить эту функцию на всех рабочих Dask.

...