Вы должны увидеть командную строку nvcc в выводе. На самом деле, я думаю, что этот бит вы вставили со всем -генкодом / и т.д. в нем является вашей командной строкой. Следовательно, это также является доказательством того, что вы компилируете код для sm_10 и sm_20, поэтому вы получаете сообщение об ошибке при вызове malloc.
Вы можете подтвердить, заключив вызов malloc в #if __CUDA_ARCH__ >= 200 и посмотреть, исчезнет ли ошибка.
Я предполагаю, что вы устанавливаете свойства для компиляции для sm_20 в свойствах по умолчанию для файлов .cu в вашем проекте, но после вы добавили файл .cu в проект. Когда файл был добавлен в проект, значения по умолчанию, вероятно, были установлены на sm_10 и sm_20 (это значение по умолчанию для файла .rules). Если вы щелкнете правой кнопкой мыши по самому файлу, вы увидите, что установлен флажок sm_20. Просто догадка.