Как я могу заставить работника Dask не записывать данные на диск?

Question

Я пытаюсь заставить работника не записывать данные на диск, но, вероятно, я делаю что-то не так.

Я изменил файл ~ / .config / dask / distrib.yaml следующим образом:

distributed:
  worker:
    # Fractions of worker memory at which we take action to avoid memory blowup
    # Set any of the lower three values to False to turn off the behavior entirely
    memory:
      target: 1.00  # target fraction to stay below
      spill: 1.00  # fraction at which we spill to disk
      pause: 1.00  # fraction at which we pause worker threads
      terminate: 1.00  # fraction at which we terminate the worker

Но они просто продолжают записывать на диск временные результаты. Я также попытался использовать фиктивную настройку ограничения памяти (100 ГБ), но все равно они записывают на диск в конце задачи. Как я могу заставить их держать все в памяти? Я что-то пропустил?

Answer 1

То, что вы делаете, должно работать нормально. Я удивлен, что это не для вас.

Официальная рекомендация - использовать значения false, как описано здесь: https://docs.dask.org/en/latest/setup/hpc.html#no-local-storage

distributed:
  worker:
    memory:
      target: false  # don't spill to disk
      spill: false  # don't spill to disk
      pause: 0.80  # pause execution at 80% memory use
      terminate: 0.95  # restart the worker at 95% use