Distributed. Worker Использование памяти велико, но работник не имеет данных для хранения на диск

Question

distributed.worker - WARNING - Memory use is high but worker has no data to store to disk.  Perhaps some other process is leaking memory?  Process memory: 3.91 GB -- Worker memory limit: 2.00 GB
distributed.worker - WARNING - Worker is at 41% memory usage. Resuming worker. Process memory: 825.12 MB -- Worker memory limit: 2.00 GB

Приведенная выше ошибка появляется, когда я пытаюсь запустить фрагмент кода, который применяет алгоритм к моему набору данных. Прочитав документацию по https://distributed.dask.org/en/latest/worker.html, мне все еще не ясно, как эта ошибка повлияет на результаты этого приложения. Это только влияет на скорость или эффективность этого кода, или это повлияет на мои результаты?

Answer 1

Это предупреждение говорит о том, что ваш процесс занимает гораздо больше памяти, чем вы говорите, это нормально. В этой ситуации Dask может приостановить выполнение или даже начать перезапускать ваших работников.

В предупреждении также говорится, что Dask сам не удерживает какие-либо данные, поэтому он мало что может сделать, чтобы помочь ситуации (например, удалить свои данные). Я предполагаю, что некоторые библиотеки, которые вы используете, занимают много памяти. Возможно, вы захотите использовать работников Dask, которые имеют более 2 ГБ памяти.