Кнопка «Назад» действительно возвращает вас к ранее просмотренной активности на экране, которая запустила текущую (не с помощью кнопки «Назад»). Если кнопка «Назад» переводит вас на начальный экран вашего приложения, это означает, что навигация к вашему последнему действию была выполнена из него. Попробуйте запустить действие из другого, отличного от начального действия.
Что действительно может быть проблематично, так это завершить приложение один раз при запуске действия, нажав кнопку «Назад» и обнаружив, что приложение переключается на действие, которое инициировало действие запуска (а не с помощью кнопки «Назад»). В этом случае вам нужно просто вызвать finish() внутри onDestroy() метода слушателя вашей начальной активности.