Вам не нужно устанавливать все VS на удаленном сервере.
Установочный диск VS содержит каталог Remote Debugger, в котором есть две папки (x64 и x86), в которых находится приложение настройки для конкретной платформы. Это устанавливает монитор удаленной отладки (msvsmon.exe).
Конечно, вам все равно понадобится Visual Studio на локальном компьютере.