Если вы используете среду conda, вам следует установить пакеты с conda.Попробуйте установить tenorflow-gpu с помощью conda;он должен позаботиться обо всех ваших зависимостях, кроме драйвера NVidia, который у вас уже есть.Подобные действия позволяют conda позаботиться о дополнительных зависимостях пакетов, таких как инструментарий CUDA и cudnn, помимо прочего.
Источник: Устанавливая только версию 10.1 набора инструментов CUDA (с драйвером) в системное местоположение и тензор-gpu в среде anaconda, у меня есть тензор-поток-gpu 1.14, работающий с Cuda 10.1 при установке CentOS 7а также на установке RHEL7.