Нет. Когда вы нажимаете кнопку «Стоп», вы можете ожидать, что ваше приложение больше не будет выполнять код (это позволяет вам выходить из бесконечных циклов). Если бы он выполнил больше кода, то кнопка остановки была бы кнопкой закрытия. Кнопка «Стоп» позволяет вам убить ваше приложение, не открывая Taskman, что, вероятно, также уничтожит VS.
Я бы предложил закрыть пункт меню в контекстном меню для значка. Когда пользователь щелкает его, ваше приложение закрывается и очищается, что позволяет вашей программе корректно завершить работу.
Если вам нужна дополнительная информация о кнопке остановки отладки , проверьте ссылку на MSDN на ней.