Это поможет увидеть сообщения об ошибках.
Вместо того, чтобы просто указывать путь к библиотеке, используйте $ {CUDA_LIBRARIES}.
Дамп раздела флагов и использование аргумента OPTIONS для cuda_add_executable для передачи флага -arch.
Не используйте include_directories (лучшие практики), вместо этого используйте target_include_directories и передайте его $ {CUDA_INCLUDE_DIRS}. Вы не должны делать это вообще, поскольку cuda_add_executable делает это для вас (по сообщениям).
Полезно включить compile_commands.json, чтобы увидеть, что пытается сделать система сборки.
set( CMAKE_EXPORT_COMPILE_COMMANDS ON )
Также стоит прочитать через FindCUDA.cmake, чтобы увидеть, что он предлагает.
/usr/share/cmake-3.10/Modules/FindCUDA.cmake