В открытом CV CMakeLists.txt есть флаг под названием "BUILD_CUDA_STUBS":
OCV_OPTION(BUILD_CUDA_STUBS "Build CUDA modules stubs when no CUDA SDK" OFF IF (NOT APPLE_FRAMEWORK) )
Что это значит? Звучит так, что у open cv do c немного ограничено на флаге сборки.