Насколько мне известно, я думаю, вы не можете удалить кнопку возврата с панели действий в приложении настроек.
Но я думаю, вы можете добавить
intent.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
для возврата непосредственно к вашему приложению, а не к экрану настроек ОС.