Правильный способ установки параметров памяти для LocalCluster в DASK - PullRequest
Новая
       11

Правильный способ установки параметров памяти для LocalCluster в DASK

0 голосов
/ 21 апреля 2019

Я попробовал приведенный ниже код, 

from dask.distributed import Client, LocalCluster
worker_kwargs = {
    'memory_limit': '2G',
    'memory_target_fraction': 0.6,
    'memory_spill_fraction': 0.7,
    'memory_pause_fraction': 0.8,
    'memory_terminate_fraction': 0.95,
}
cluster = LocalCluster(ip='0.0.0.0', n_workers=8, **worker_kwargs)

, но он не работает 

...
TypeError: __init__() got an unexpected keyword argument 'memory_target_fraction'

Как правильно позвонить?LocalCluster, похоже, тоже не заботится о ~/.config/dask/distributed.yaml.

Я читал об этих сообщениях:

  1. https://github.com/dask/distributed/issues/2456
  2. https://github.com/dask/distributed/issues/1521

1 Ответ

1 голос
/ 21 апреля 2019

Кажется, это проблема с версией. Обновление dask до 1.2.0 решает проблему. 

from dask.distributed import Client, LocalCluster
worker_kwargs = {
    'memory_limit': '2G',
    'memory_target_fraction': 0.6,
    'memory_spill_fraction': 0.7,
    'memory_pause_fraction': 0.8,
    # 'memory_terminate_fraction': 0.95,
}
cluster = LocalCluster(ip='0.0.0.0', n_workers=8, **worker_kwargs)

работает

...