Tensorflow CUDA - ошибка CUPTI: ​​не удалось загрузить CUPTI или не удалось найти символ

Question

Я использую Tensorflow v 1.14.0. Я работаю на Windows 10. А вот как релевантные переменные среды выглядят в PATH:

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\libnvvp
C:\Program Files (x86)\NVIDIA Corporation\PhysX\Common
C:\Users\sinthes\AppData\Local\Programs\Python\Python37
C:\Users\sinthes\AppData\Local\Programs\Python\Python37\Scripts
C:\Program Files\NVIDIA Corporation\NVIDIA NvDLISR
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.0\cuda\bin

Возможно, также стоит упомянуть, на всякий случай, если это может быть актуально. Я использую Sublime Text 3 для разработки и не использую Anaconda. Мне кажется немного громоздким вносить обновления в тензорный поток в среде conda, поэтому сейчас я просто использую Sublime Text. (Я использовал Anaconda (Spyder) ранее, но я удалил ее с моего компьютера.)

Кажется, все работает хорошо, за исключением некоторых странных предупреждений. Но одно непротиворечивое предупреждение, которое я получаю, заключается в следующем при каждом запуске функции fit.

E tensorflow/core/platform/default/device_tracer.cc:68] CUPTI error: CUPTI could not be loaded or symbol could not be found.

А вот как я вызываю функцию подгонки:

history = model.fit(x=train_x,
                    y=train_y,
                    batch_size=BATCH_SIZE,
                    epochs=110,
                    verbose=2,
                    callbacks=[tensorboard, checkpoint, reduce_lr_on_plateau],
                    validation_data=(dev_x, dev_y),
                    shuffle=True,
                    class_weight=class_weight,
                    steps_per_epoch=None,
                    validation_steps=None)

Мне просто интересно, почему я вижу сообщение CUPTI Error во время выполнения? Распечатывается только один раз. Это то, что мне нужно исправить, или это можно игнорировать? Это сообщение не говорит мне ничего конкретного, чтобы я мог предпринять какие-либо действия.

Answer 1

У меня была похожая ошибка при попытке получить график тензорной доски, я думаю, что это повлияет на вас, только если вы планируете использовать тензорную доску.

Я нашел решение в этом посте, но это для Linux https://gist.github.com/Brainiarc7/6d6c3f23ea057775b72c52817759b25c Я думаю, что вам нужно создать файл конфигурации библиотеки для Cupti.

Answer 2

Вот что решило «мою» проблему:

Я только что заменил tensorflow v 1.14 на tensorflow v 1.13.1.И не более CUPTI ошибка сообщений.И даже некоторые другие странные предупреждения / проблемы исчезли.Очевидно, что у всех проблем должны быть конкретные причины, но, к сожалению, Tensorflow (много раз) не предоставляет понятных сообщений об ошибках / предупреждений, которые дают хорошее / справедливое представление, которое помогает решить проблему.И я в конечном итоге трачу часы (даже дни) на такие странные проблемы, которые значительно снижают мою производительность.

Одним из общих выводов для меня (что может быть уместно, чтобы поделиться здесь), что я не должен спешитьобновить мою установку tenorflow до последней версии.Последний почти никогда не бывает стабильным, когда бы я ни пытался, я тратил значительное количество времени на проблемы, вызванные тензорным потоком.Плохая документация и сообщения об ошибках очень затрудняют работу.

Если у кого-то есть лучший ответ, он / она с радостью поделится своими соображениями по проблеме, которой я поделился в этом вопросе.