Это зависит от жизненного цикла вашей деятельности.
Если вы всегда заканчиваете свою деятельность после запуска новой, вы можете просто создать диалог одной кнопкой и, нажав на кнопку, просто вызвать метод finish (), и все.
Общее «закрытие всего приложения» - это не то, как должен использоваться жизненный цикл.