Вы можете легко узнать, отлаживается ли он, используя IsDebuggerPresent api.
http://msdn.microsoft.com/en-us/library/ms680345(v=vs.85).aspx
Тогда вы можете сделать окно поиска, чтобы увидеть, присутствует ли окно визуальной студии ...
Или, как сказал Бен, вы могли бы перечислить процессы, используя функции tlhelp32.h Process32First и Process32Next, чтобы получить родительский процесс вашего приложения (PID), а затем использовать GetModuleFileNameEx для проверки имени процесса, равного исполняемому файлу visual studio ...