Вам необходимо использовать кнопку Выход на панели Выполнить , а не кнопку Стоп.Обратите внимание, что он будет работать только при запуске и не будет работать при отладке.
Вот снимок экрана, если вы не можете его найти:
Эта функцияиспользует платформо-зависимый код и в настоящее время работает только в Windows и Linux. После исправления IDEA-56273 эта функция также должна быть доступна на Mac. Она исправлена в версии IDEA 10.5.