OpenBLAS blas_thread_init: pthread_create: ресурс временно недоступен

Question

У меня возникла проблема: я не могу запустить какую-либо программу в кластере.Это дает ошибку.OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable OpenBLAS blas_thread_init: RLIMIT_NPROC 64 current, 64 max OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable OpenBLAS blas_thread_init: RLIMIT_NPROC 64 current, 64 max OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable OpenBLAS blas_thread_init: RLIMIT_NPROC 64 current, 64 max OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable OpenBLAS blas_thread_init: RLIMIT_NPROC 64 current, 64 max Traceback (most recent call last): File "hello-world.py", line 1, in <module> from keras.models import Sequential File "/home/amalli2s/anaconda3/lib/python3.6/site-packages/keras/__init__.py", line 3, in <module> from . import utils File "/home/amalli2s/anaconda3/lib/python3.6/site-packages/keras/utils/__init__.py", line 2, in <module> from . import np_utils File "/home/amalli2s/anaconda3/lib/python3.6/site-packages/keras/utils/np_utils.py", line 6, in <module> import numpy as np File "/home/amalli2s/.local/lib/python3.6/site-packages/numpy/__init__.py", line 142, in <module> from . import add_newdocs File "/home/amalli2s/.local/lib/python3.6/site-packages/numpy/add_newdocs.py", line 13, in <module> from numpy.lib import add_newdoc File "/home/amalli2s/.local/lib/python3.6/site-packages/numpy/lib/__init__.py", line 8, in <module> from .type_check import * File "/home/amalli2s/.local/lib/python3.6/site-packages/numpy/lib/type_check.py", line 11, in <module> import numpy.core.numeric as _nx File "/home/amalli2s/.local/lib/python3.6/site-packages/numpy/core/__init__.py", line 16, in <module> from . import multiarray SystemError: initialization of multiarray raised unreported exception Эта проблема, я предполагаю, будет такой же, как эта Несколько экземпляров Python, запущенных одновременно, ограничены 35

Так что в соответствии с решением, когда я установил export OPENBLAS_NUM_THREADS=1

тогда я получаю следующую ошибку.terminate called after throwing an instance of 'std::system_error' what(): Resource temporarily unavailable Aborted

Есть еще кто-нибудь, кто сталкивался с такой же проблемой, или есть идеи, как ее решить?Спасибо.

Answer 1

Это для тех, кто в будущем столкнется с этой ошибкой.Настройка кластера, скорее всего, ограничивает число процессов, которые могут запускаться пользователем на интерактивном узле.Подсказка находится во второй строке ошибки:

OpenBLAS blas_thread_init: pthread_create: Resource temporarily unavailable
OpenBLAS blas_thread_init: RLIMIT_NPROC 64 current, 64 max

Здесь ограничение установлено на 64. Хотя этого вполне достаточно для обычного использования CLI, его, вероятно, недостаточно для интерактивного выполнения заданий Keras (например,ОП);или, в моем случае, попытка запустить интерактивный кластер Dask.

Возможно, вы можете увеличить лимит из вашей оболочки с помощью, скажем, ulimit -u 10000, но это не гарантированно сработает.Лучше всего уведомить администраторов, таких как ОП.

Answer 2

Хорошо, похоже, это произошло из-за некоторых ограничений конфигурации, которые пытались реализовать администраторы.Теперь это работает снова.