Ошибка вызова cuInit: CUDA_ERROR_NOT_INITILIZED: ошибка инициализации, когда я выполняю коды в записной книжке Jupyter, а графический процессор не используется - PullRequest
Новая
       9

Ошибка вызова cuInit: CUDA_ERROR_NOT_INITILIZED: ошибка инициализации, когда я выполняю коды в записной книжке Jupyter, а графический процессор не используется

0 голосов
/ 02 октября 2019

Задание может успешно завершиться на процессорах, но ни один из графических процессоров не используется. Когда я выполняю коды в JupyterNotebook, и консоль Jupyter отображает сообщение об ошибке: Ошибка вызова cuInit: CUDA_ERROR_NOT_INITILIZED: ошибка инициализации.

Вот информация об оборудовании и программном обеспечении:

  1. ОС: я пытался запустить коды в Ubuntu180403 ppc64le и RHEL76, ни одна из ОС не может запустить задание на графическом процессоре
  2. CUDA: 10.1.243
  3. Драйвер графического процессора: 418.87.00
  4. Набор инструментов CUDA: 10.1
  5. TensorFlow: 14.01a, фактически он включен в IBM Powerai CE 1.6.1
  6. Аппаратное обеспечение: AC922, 4 * GPU - это nvidia V100

Я попытался выполнить задание поезда CNN или просто попытаться найти локальные устройства по следующим кодам, и в списке указан только процессор. 

from tensorflow.python.client import device_lib as _device_lib
_device_lib.list_local_devices()

Консоль ноутбука Jupyter показывает следующую ошибку: 

[tensorflow/stream_executor/cuda/cuda_driver.cc:318] 
Failed call to cuInit: CUDA_ERROR_NOT_INITILIZED: initialization error
[tensorflow/stream_executor/cuda/cuda_diagonostics.cc:169] 
Retrieving CUDA diagnostic information for host: powerai
[tensorflow/stream_executor/cuda/cuda_diagonostics.cc:176] 
hostname: powerai 
[tensorflow/stream_executor/cuda/cuda_diagonostics.cc:200] 
libcuda reported version is : 418.87.0
[tensorflow/stream_executor/cuda/cuda_diagonostics.cc:204] 
kernel reported version is : 418.78.0
[tensorflow/stream_executor/cuda/cuda_diagonostics.cc:310] 
kernel version seems to match BSO: 418.87.0

После этого я попытался проверить, хороша ли CUDA, запустив пример CUDA и выбрасывая CUDAошибка: 

$ sudo ./deviceQuery
./deviceQuery Starting...

 CUDA Device Query (Runtime API) version (CUDART static linking)

cudaGetDeviceCount returned 3
-> initialization error
Result = FAIL

1 Ответ

0 голосов
/ 02 октября 2019

Некоторые возможности:

  1. Не могли бы вы подтвердить, используется ли (или доступен) графический процессор перед запуском кода?

  2. у вас есть разрешение на отправку задания, работающего на графическом процессоре (если ваша установка основана на системе задания)?

...