Ваш звонок на Application.Exit()
работает нормально. Исполняемый файл MyAppName.vshost32.exe
является хостом для целей отладки. Он работает, пока у вас есть проект, открытый в Visual Studio, независимо от того, есть ли активный сеанс отладки.
Обновление: Хорошо, я не понял. Вышеприведенное верно, но у вас, вероятно, проблемы с зависшими потоками в фоновом режиме. Вы должны прекратить свои темы, чтобы закрыть его правильно. Ответ Ашера покрывает это. Если вы просто пытаетесь сделать супер-хакерское быстрое и грязное убийство, вы можете использовать следующее (хотя я не несу ответственности за побочные эффекты, так как это очень хакерский):
System.Diagnostics.Process.GetCurrentProcess().Kill();