cupy.cuda.cudnn.CuDNNError: CUDNN_STATUS_INTERNAL_ERROR

Question

Мои версии Cupy и Chainer следующие:

Chainer: 4.1.0 NumPy: 1.15.4 CuPy: CuPy Версия: 4.1.0
CUDA Root: / usr / local / cuda-9.0 Версия сборки CUDA: 9000 Версия драйвера CUDA: 9020 Версия времени выполнения CUDA: 9000
cuDNN Версия сборки: 7104 Версия cuDNN: 7104 Версия сборки NCCL: 2104

Я пытаюсь запустить тестсценарий, следующий за этой ссылкой , и используемый мной сценарий выглядит следующим образом:

python image_sheeping.py figure_skating / models / resnet_50_augmentation_no_noise_75_100 / Resnet50SheepLocalizer_97305.npz \ log -i figure_skating / selection_ test_i_aset22.png -g 0 -o validation_data / images / analysis

Я получаю сообщение об ошибке

Traceback (последний вызов был последним): файл "image_sheeping.py", строка 50, в bboxes, scores = localizer.localize (processing_image) [: 2] Файл" /home/rahul/Desktop/Thesis/code/loans/loans/sheep/unsupervised_sheep_localizer.py ", строка 43, в локализации bящики, баллы, оценки, visual_backprop = self.model.predict ([обработанный_изображение], return_visual_backprop = return_visual_backprop) файл "/home/rahul/Desktop/Thesis/code/loans/loans/figure_skating/models/resnet_50_augmentation_no_noise_py")строка 102, в поле Предикат Ройс, файл bboxes = self (images) "" /home/rahul/Desktop/Thesis/code/loans/loans/figure_skating/models/resnet_50_augmentation_no_noise_75_100/localizer.py ", строка 144, в вызов h = self.feature_extractor (input_images, layer = ['res5', 'pool5']) Файл "/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/links/model/vision / resnet.py ", строка 198, в call h = func (h) File" /home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/links/connection / convolution_2d.py ", строка 175, в call groups = self.groups) Файл" /home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/functions/connection / convolution_2d.py ", строка 582, в файле convolution_2d y, = файл fnode.apply (args)" /home / rahul / .virtualenvs / loan / lib / python3.6 / site-packages / chainer / function_node.py ", строка 258, в файле apply output = self.forward (in_data)" /home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/function_node.py ", строка 367, обратный возврат self.forward_gpu (входные данные) файл" /home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/chainer/functions/connection/convolution_2d.py ", строка 161, в forward_gpu возвращает файл self._forward_cudnn (x, W, b, y)" /home/rahul/.virtualenvs/loans/lib/python3.6 / site-packages / chainer / functions / connection / convolution_2d.py ", строка 234, в _forward_cudnn auto_tune = auto_tune ,ensor_core = tenor_core) Файл" cupy / cudnn.pyx ", строка 598, в файле cupy.cudnn.convolution_forward"cupy / cudnn.pyx ", строка 33, в файле cupy.cudnn.get_handle" cupy / cuda / cudnn.pyx ", строка 473, в файле cupy.cuda.cudnn.create" cupy / cuda / cudnn.pyx ", строка446, в cupy.cuda.cudnn.check_status cupy.cuda.cudnn.CuDNNError: CUDNN_STATUS_INTERNAL_ERROR Исключение игнорируется в: del of 0% ||0/1 [00:17 Traceback (последний вызов был последним): файл "/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/tqdm/_tqdm.py", строка 931, в del Файл self.close () "/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/tqdm/_tqdm.py", строка 1133, в закрытом self._decr_instances (self)Файл "/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/tqdm/_tqdm.py", строка 496, в файле _decr_instances cls.monitor.exit () "/home/rahul/.virtualenvs/loans/lib/python3.6/site-packages/tqdm/_monitor.py ", строка 52, в выходной файл self.join ()" /usr/lib/python3.6/threading.py ", строка 1053, вприсоединиться к повышению RuntimeError («не может присоединиться к текущей теме»)RuntimeError: не может присоединиться к текущей теме

Может кто-нибудь помочь мне решить эту ошибку?

Answer 1

Не могли бы вы перезапустить код, указав следующую переменную среды?

export CUDNN_LOGDEST_DBG=cudnn_debug.log
export CUDNN_LOGINFO_DBG=1

Затем, пожалуйста, поделитесь файлом cudnn_debug.log (например, с помощью Gist).