Управление памятью Dask с планировщиком по умолчанию

Question

Я пытался управлять использованием памяти Dask на одной локальной машине.По какой-то причине планировщик Dask Client () и LocalCluster () по умолчанию всегда выходит из строя, однако Dask прекрасно работает без указания планировщика, и, следовательно, планировщик по умолчанию работает лучше всего для моих целей, однако я не вижу почти никакой документации по этому умолчаниюПланировщик, не говоря уже о том, как установить ограничение ОЗУ для него.Вся информация предназначена для их специализированного распределенного клиента, который, похоже, не работает.Кто-нибудь знает, что / где можно найти документацию планировщика по умолчанию или что они даже используют в качестве планировщика по умолчанию (поскольку я даже не могу найти эту информацию на их сайте / в документации).Или, если нет, кто-нибудь нашел решение для ограничения использования оперативной памяти без использования Client ()?

Cheers

Answer 1

для контроля предела памяти в моем локальном кластере dask я использую следующую настройку:

ncores = 2
cluster = LocalCluster(n_workers=ncores, threads_per_worker=1,memory_limit =8e9)
client=Client(cluster)