«OSError: [Errno 23] Слишком много открытых файлов в системе:« При импорте функций на все движки » - PullRequest
Новая
       19

«OSError: [Errno 23] Слишком много открытых файлов в системе:« При импорте функций на все движки »

0 голосов
/ 22 апреля 2019

Я пытаюсь обработать список объектов параллельно в кластере, используя ipyparallel, но у меня ошибка при открытии слишком большого количества файлов.Я использую ноутбук Jupyter и могу запустить 230 двигателей в кластере.

Я использую ноутбук Jupyter и могу запустить 230 двигателей в кластере.При попытке импортировать функции на двигателях у меня появляется следующая ошибка: 

`OSError: [Errno 23] Too many open files in system:`
The common solution on Google is to increase the limit on ressources: ulimit -Su  20000
`ulimit -a` gives me 


`core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 515236
max locked memory       (kbytes, -l) unlimited
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65536
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) unlimited
cpu time               (seconds, -t) unlimited
max user processes              (-u) 4096
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited`

Вот код 

`import ipyparallel as ipp
rc = ipp.Client()
dview = rc[:]
lbview = rc.load_balanced_view()
with rc[:].sync_imports():# import numpy here and everywhere
    from foo import bar`

Код работает, когда я уменьшаю количество двигателя до ~130.Я попытался загрузить функции асинхронно (на половине двигателя, затем на другой половине).Но ошибка происходит при загрузке их на второй.Похоже, что файлы остаются открытыми на узле, где работает ноутбук Jupyter.

...