По моему опыту вам не нужно устанавливать cuda или cudnn. Достаточно только вашего графического драйвера.
Но в зависимости от вашей системы она может быть не оптимизирована. Для этого вам нужно скомпилировать тензорный поток с нуля и оптимизировать его для вашей системы.