Библиотеки, связанные с вашим приложением, должны быть скомпилированы в одну и ту же арку. Вы не можете смешивать архитектуры.
Другими словами, вы должны скомпилировать все - ваше приложение, OpenCV и CUDA - должны быть 32-битными (или 64-битными, если вам нужно).
Мой вам совет - скомпилируйте CUDA для 32-битной версии, а затем измените свойства вашего проекта, чтобы приложение тоже стало 32-битным (поскольку у вас уже есть 32-битная версия OpenCV).
EDIT:
Для проблем со связыванием:
unresolved external symbol _cufftExecR2C@12
unresolved external symbol _cufftExecC2R@12
unresolved external symbol _cufftPlan2d@16
unresolved external symbol _cufftDestroy@4
согласно этой записи , добавьте эту библиотеку в настройки своего проекта: cufft.lib