Если ваша кнопка выхода (Preference) находится на PreferenceScreen, сделайте следующее:
PreferenceScreen screen = getPreferenceScreen();
Preference logout = findPreference("logout");
screen.removePreference(logout);
Иначе, если ваша кнопка выхода (Preference) находится в PreferenceCategory (которая находится внутри PreferenceScreen), сделайте следующее:
PreferenceCategory category = (PreferenceCategory) findPreference("category_name");
Preference logout = findPrefence("logout");
category.removePreference(logout);
Вы можете указать любое имя вашего предпочтения, например, для выхода из системы, если у вас есть другое предпочтение (например, CheckBoxPreference), вам нужно привести это конкретное предпочтение перед findPreference.