Системная информация
OS Platform and Distribution : Windows 10 Pro
TensorFlow installed from (source or binary): Source and Binary (tried both)
TensorFlow version: 1.12
Python version: 3.6.6
Installed using virtualenv? pip? conda?: pip and conda (tried both)
Bazel version (if compiling from source): 0.16.1
CUDA/cuDNN version: Cudnn - 7.4.2 , CUDA- 10.0
GPU model and memory: GeForce RTX 2070
Я аспирант по биологии, поэтому я не эксперт по Python, тензорным потокам или глубоким нейронным сетям. В настоящее время я пытаюсь использовать алгоритм глубокого обучения, опубликованный в прошлом году (https://github.com/talmo/leap), для анализа поведения мышей. До сих пор я использовал Quadro P400, и он отлично работал с CUDA 9.0. Однако я купил RTX 2070 потому что мне нужно было гораздо больше вычислительной мощности.
Поскольку карты RTX совместимы только с CUDA 10.0, я попытался выполнить новую установку (компьютер уже не тот, что раньше, а совершенно новый), но у меня возникла эта проблема в течение нескольких дней, но я до сих пор не мог найти обходной путь. Я пробовал разные решения, такие как упомянутые здесь https://github.com/tensorflow/tensorflow/issues/24828. Я также пытался скомпилировать себя тензорным потоком, следуя https://www.pytorials.com/how-to-install-tensorflow-gpu-with-cuda-10-0-for-python-on-windows/, и это сработало, но я получил ту же ошибку, пытаясь запустить алгоритм.
Я пробовал разные версии Cdunn, в основном все версии для cuda 10.0, других версий Python (3.7.1, 3.6.4) и Tensorflow (1.13.1, ночные сборки).
Я не знаю, что я мог бы попробовать дальше, поэтому я прошу вашей помощи.
Укажите точную последовательность команд / шагов, которые вы выполнили перед тем, как столкнуться с проблемой
Любая другая информация / журналы
Всего параметров: 592,066
Обучаемые параметры: 592,066
Не обучаемые параметры: 0
Созданная папка: C: \ Users \ dieudon \ Downloads \ models \ 190512_222333-n = 17
Эпоха 1/15
Traceback (последний вызов был последним):
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ client \ session.py", строка 1334, в _do_call
вернуть fn (* args)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ client \ session.py", строка 1319, в _run_fn
параметры, feed_dict, fetch_list, target_list, run_metadata)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ client \ session.py", строка 1407, в _call_tf_sessionrun
run_metadata)
tenorflow.python.framework.errors_impl.UnknownError: Не удалось получить алгоритм свертки. Вероятно, это связано с тем, что cuDNN не удалось инициализировать, поэтому попробуйте посмотреть, не было ли напечатано сообщение с предупреждением выше.
[[{{node conv2d_1 / convolution}} = Conv2D [T = DT_FLOAT, _class = ["loc: @ обучение / Адам / градиенты / conv2d_1 / convolution_grad / Conv2DBackpropFilter"], data_format = "NCHW", расширения = = 1, 1 , 1, 1], padding = "SAME", strides = [1, 1, 1, 1], use_cudnn_on_gpu = true, _device = "/ job: localhost / replica: 0 / task: 0 / device: GPU: 0" ] (обучение / Адам / градиенты / conv2d_1 / convolution_grad / Conv2DBackpropFilter-0-TransposeNHWCToNCHW-LayoutOptimizer, conv2d_1 / kernel / read)]]
[[{{потеря узла / муль / _287}} = _Recvclient_terminated = false, recv_device = "/ job: localhost / replica: 0 / task: 0 / device: CPU: 0", send_device = "/ job: localhost / replica: 0 / задача: 0 / устройство: GPU: 0 ", send_device_incarnation = 1, тензор_имя =" edge_1575_loss / mul ", tenors_type = DT_FLOAT, _device =" / job: localhost / реплика: 0 / задача: 0 / устройство: CPU: 0 "]]
Во время обработки вышеуказанного исключения произошло другое исключение:
Traceback (последний вызов был последним):
Файл "C: \ Users \ dieudon \ Desktop \ Matlab \ leap-master \ leap \ training.py", строка 276, в
clize.run (поезд)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ sigtools \ modifiers.py", строка 158, в , вызов
вернуть self.func (* args, ** kwargs)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ clize \ runner.py", строка 360, запущен
ret = cli (* args)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ clize \ runner.py", строка 220, в вызов
return func (* posargs, ** kwargs)
Файл "C: \ Users \ dieudon \ Desktop \ Matlab \ leap-master \ leap \ training.py", строка 255, в поезде
viz_grid_callback
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ keras \ legacy \ interfaces.py", строка 91, в оболочке
return func (* args, ** kwargs)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ keras \ engine \ training.py", строка 2230, в fit_generator
class_weight = class_weight)Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ keras \ engine \ training.py", строка 1883, в train_on_batch output = self.train_function (ins) Файл "C: \ Users \ dieudon \ Anaconda3 \"lib \ site-packages \ keras \ backend \ tenorflow_backend.py ", строка 2482, в call ** self.session_kwargs) Файл" C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tensorflow "\ python \ client \ session.py ", строка 929, в прогоне run_metadata_ptr) Файл" C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ client \ session.py ", строка 1152, в _runfeed_dict_tensor, options, run_metadata) Файл «C: \ Users \ dieudon \», строка 1328, в _do_run run_metadata), файл «C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ client \ session.py», строка 1328Anaconda3 \ lib \ site-packages \ tenorflow \ python \ client \ session.py ", строка 1348, в _do_call поднять тип (e) (node_def, op, message) tenorflow.python.framework.errors_impl.UnknownError: Не удалось получить сверткуалгоритм.Вероятно, это связано с тем, что cuDNN не удалось инициализировать, поэтому попробуйте посмотреть, не было ли напечатано сообщение с предупреждением выше.[[node conv2d_1 / convolution (определено в C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ keras \ backend \ tenorflow_backend.py: 3341) = Conv2D [T = DT_FLOAT, _class = ["loc: @ training /Адам / градиенты / conv2d_1 / convolution_grad / Conv2DBackpropFilter "], data_format =" NCHW ", дилатации = [1, 1, 1, 1], отступы =" ЖЕ ", Strides = [1, 1, 1, 1], use_cudnn_on_gpu =true, _device = "/ job: localhost / replica: 0 / task: 0 / device: GPU: 0"] (обучение / Adam / Градиенты / conv2d_1 / convolution_grad / Conv2DBackpropFilter-0-TransposeNHWCToNCHW-LayoutOptimizer, conv2d_1 / kernel / read)]] [[{{потеря узла / mul / _287}} = _Recvclient_terminated = false, recv_device = "/ job: localhost / replica: 0 / task: 0 / device: CPU: 0", send_device = "/ job: localhost /реплика: 0 / задача: 0 / устройство: GPU: 0 ", send_device_incarnation = 1, тензор_имя =" edge_1575_loss / mul ", тензор_тип = DT_FLOAT, _device =" / job: localhost / реплика: 0 / задача: 0 / устройство: ЦП: 0 "]]
Вызывается операцией 'conv2d_1 / convolution', определенной в: файле" C: \ Users \ dieudon \ Desktop \ Matlab \ leap-master \ leap \ training.py ", строка 276,в clize.run (train) Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ sigtools \ modifiers.py", строка 158, в вызов , возврат self.func (* args, ** kwargs)) Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ clize \ runner.py", строка 360, в run ret = cli (* args) Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \"site-packages \ clize \ runner.py ", строка 220, в вызов return func (* posargs, ** kwargs) Файл" C: \ Users \ dieudon \ Desktop \ Matlab \ leap-master \ leap\ training.py ", строка 191, в модели поезда = create_model (net_name, img_size, num_output_channels, фильтры = фильтры, amsgrad = amsgrad, upsampling_layers = upsampling_layers, summary = True) Файл" C: \ Users \ dieudon \ Desktop \ Matlab \leap-master \ leap \ training.py ", строка 104, в create_model возвращает compile_model (img_size, output_channels, ** kwargs) Файл" c: \ users \ dieudon \ desktop \ matlab \ leap-master \ leap \ models.py "строка 23, в leap_cnn x1 = Conv2D (фильтры, kernel_size = 3, padding = "same", активация = "relu") (x_in) Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ keras \"двигатель \ тopology.py ", строка 619, в вызов output = self.call (входные данные, ** kwargs) Файл" C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ keras \ layer \ сверточный ".py ", строка 168, в вызове dilation_rate = self.dilation_rate) Файл" C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ keras \ backend \ensorflow_backend.py ", строка 3341, в conv2d data_format = tf_data_format)Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ ops \ nn_ops.py", строка 780, в свертке с возвратом op (вход, фильтр) Файл "C: \ Users \ dieudon \ Anaconda3\ lib \ site-packages \ tenorflow \ python \ ops \ nn_ops.py ", строка 868, в call return self.conv_op (inp, filter) Файл" C: \ Users \ dieudon \ Anaconda3 \ lib\ site-packages \ tenorflow \ python \ ops \ nn_ops.py ", строка 520, в вызов , возврат self.call (inp, filter)Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ ops \ nn_ops.py", строка 204, в вызов
имя = self.name)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ ops \ gen_nn_ops.py", строка 1044, в conv2d
data_format = data_format, дилатации = дилатации, имя = имя)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ framework \ op_def_library.py", строка 787, в _apply_op_helper
op_def = op_def)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ util \ deprecation.py", строка 488, в new_func
return func (* args, ** kwargs)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ framework \ ops.py", строка 3274, в create_op
op_def = op_def)
Файл "C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ tenorflow \ python \ framework \ ops.py", строка 1770, в init
self._traceback = tf_stack.extract_stack ()
UnknownError (см. Выше для отслеживания): не удалось получить алгоритм свертки. Вероятно, это связано с тем, что cuDNN не удалось инициализировать, поэтому попробуйте посмотреть, не было ли напечатано сообщение с предупреждением выше.
[[node conv2d_1 / convolution (определено в C: \ Users \ dieudon \ Anaconda3 \ lib \ site-packages \ keras \ backend \ tenorflow_backend.py: 3341) = Conv2D [T = DT_FLOAT, _class = ["loc: @ training / Адам / градиенты / conv2d_1 / convolution_grad / Conv2DBackpropFilter "], data_format =" NCHW ", дилатации = [1, 1, 1, 1], отступы =" ЖЕ ", Strides = [1, 1, 1, 1], use_cudnn_on_gpu = true, _device = "/ job: localhost / replica: 0 / task: 0 / device: GPU: 0"] (обучение / Adam / Градиенты / conv2d_1 / convolution_grad / Conv2DBackpropFilter-0-TransposeNHWCToNCHW-LayoutOptimizer, conv2d_1 / kernel / read) ]]
[[{{потеря узла / муль / _287}} = _Recvclient_terminated = false, recv_device = "/ job: localhost / replica: 0 / task: 0 / device: CPU: 0", send_device = "/ job: localhost / replica: 0 / задача: 0 / устройство: GPU: 0 ", send_device_incarnation = 1, тензор_имя =" edge_1575_loss / mul ", tenors_type = DT_FLOAT, _device =" / job: localhost / реплика: 0 / задача: 0 / устройство: CPU: 0 "]]
Большое спасибо за вашу помощь!