Я выполняю около 500 длинных задач с распределением dask с использованием
for item in items:
future = client.submit(function, item)
fufures.append(future)
wait(futures)
Все фьючерсы просто записывают некоторые данные в базу данных, но не возвращают никаких результатов клиенту.В чем может быть причина того, что в планировщике во вкладке «Память» все работники продолжают накапливать задания?
Я также пытался
for future in as_completed(futures):
_ = future.result()
del future
Но поведение не изменилось.Я подозреваю, что ссылка сохраняется, потому что она все еще находится в списке фьючерсов?Не очевидно, как я могу автоматически удалять фьючерсы, которые были завершены.Информация, упомянутая в документации (https://distributed.dask.org/en/latest/memory.html), по-видимому, не предлагает решения для этого. Любые предложения приветствуются.