Ошибка cudaGetDevice ().Статус: версия драйвера CUDA недостаточна для версии CUDA

Question

Я получаю следующую ошибку, когда я запускаю tenorflow в графическом процессоре.

2018-09-15 18:56:51.011724: E tensorflow/core/common_runtime/direct_session.cc:158] Internal: cudaGetDevice() failed. Status: CUDA driver version is insufficient for CUDA runtime version
Traceback (most recent call last):
  File "evaluate_sample.py", line 160, in <module>
    tf.app.run(main)
  File "/anaconda3/envs/tf/lib/python2.7/site-packages/tensorflow/python/platform/app.py", line 125, in run
    _sys.exit(main(argv))
  File "evaluate_sample.py", line 123, in main
    with tf.Session() as sess:
  File "/anaconda3/envs/tf/lib/python2.7/site-packages/tensorflow/python/client/session.py", line 1494, in __init__
    super(Session, self).__init__(target, graph, config=config)
  File "/anaconda3/envs/tf/lib/python2.7/site-packages/tensorflow/python/client/session.py", line 626, in __init__
    self._session = tf_session.TF_NewSession(self._graph._c_graph, opts)
tensorflow.python.framework.errors_impl.InternalError: Failed to create session.

Откуда появляются следующие ошибки?

E tensorflow/core/common_runtime/direct_session.cc:158] Internal: cudaGetDevice() failed. Status: CUDA driver version is insufficient for CUDA runtime version

и tenorflow.python.framework.errors_impl.InternalError: Не удалось создать сеанс .

Такая моя версия:

тензор потока: 1.10

cat /proc/driver/nvidia/version

Версия NVRM: модуль ядра NVIDIA UNIX x86_64 390.77 Вт 10 июля 18:28:52 PDT 2018

Версия GCC: версия gcc 7.3.0 (Debian 7.3.0-28)

nvcc --version

nvcc: драйвер компилятора NVIDIA® Cuda

Copyright (c) 2005-2016 NVIDIA Corporation

Построен в Sun_Sep__4_22: 14: 01_CDT_2016

Cudaинструменты компиляции, выпуск 8.0, V8.0.44

Answer 1

Для Ubuntu 18.04 и Tensorflow 1.13.1

Сначала убедитесь, что система соответствует данным:

sudo apt update
sudo apt dist-upgrade
sudo reboot now

Установка более поздних драйверов:

sudo add-apt-repository ppa:graphics-drivers/ppa

Откройте Software & Updates и выберите вкладку Дополнительные драйверы:

Выберите nvidia-driver-396 и нажмите Применить изменения

Теперь перезагрузите компьютер:

sudo reboot now

Чтобы проверить, какой драйвер NVIDIA 396 активен:

nvidia-smi

Answer 2

Причиной этой ошибки является несоответствие вашей установленной версии Cuda Toolkit и версии пакета Python cudatoolkit, который обычно устанавливается как зависимость tenorflow-gpu.

Для того, чтобы это исправить, вы должны сначала сопоставить версию tenorflow с установленной версией Cuda Toolkit, как показано здесь

Затем вы должны проверить версию вашего пакета cudatoolkit. Это должно соответствовать мажорной и минорной версии, например, если у вас установлен Cuda Toolkit 9.0 и установлен cudatoolkit9_1, вам нужно перейти на cudatoolkit9 через ваш python.

Answer 3

Обновление драйвера nvidia решило эту проблему.

Вы можете проверить свою совместимость cuda toolkit здесь .Затем обновите драйвер nvidia, загрузив его с здесь .

Answer 4

В случае, который я только что решил, он обновлял драйвер GPU до последней версии и устанавливал набор инструментов cuda.Ваша ошибка говорит о том, что ваша версия драйвера CUDA слишком старая.Я считаю, что версия nvcc, которую мы видели, была 7.5, а у вас 7.3.

Я думаю, все, что вам нужно сделать, это: sudo apt install nvidia-cuda-toolkit, затем перезагрузите компьютер.

Ниже приведены шаги, которые я предпринял для решения проблемы, когда файл libcuda.so.1 не был найден.

Сначала был добавлен ppa и установлен новый драйвер графического процессора:

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-390

После добавления ppa, он показал опции для версий драйверов, и 390 была последней «стабильной» версией, которая была показана.

Затем установите набор инструментов cuda:

sudo apt install nvidia-cuda-toolkit

Затем перезагрузите компьютер:

sudo reboot

Он обновил драйверы до более новой версии, чем 390, изначально установленная на первом шаге (это было 410; это был экземпляр p2.xlarge в AWS).