При этом будут скопированы все файлы из папки res ,
SetOutPath "$INSTDIR" File "res\"
но мне нужно скопировать все подпапки и файлы в них. Как я могу достичь этого.
Руководство очень понятно, используйте File /r "yourfolder" для копирования всего дерева каталогов ...
File /r "yourfolder"