У нас есть задания, которые взаимодействуют с нативным кодом, и во время обработки задания неизбежны утечки памяти.Простое решение наших проблем состояло в том, чтобы перезапустить работника после указанного числа задач.
Мы переходим к многопроцессорной обработке python, которая имеет полезную опцию maxtasksperchild , которая закрывает работников послеуказанное число задач.
Есть ли что-то встроенное в dask, сравнимое с maxtasksperchild ?
В качестве обходного пути мы отслеживаем работников, которые имеютвыполнил задачу, добавив свой рабочий адрес к полученному результату и вызвав retire_workers на стороне клиента вручную.