Если ваша кнопка выхода (Preference) находится на PreferenceScreen, сделайте это:
PreferenceScreen screen = getPreferenceScreen();
Preference logout = findPreference("logout");
screen.removePreference(logout);
Иначе, если ваша кнопка выхода из системы (Preference) находится в PreferenceCategory (которая находится внутри PreferenceScreen), сделайте следующее:
PreferenceCategory category = (PreferenceCategory) findPreference("category_name");
Preference logout = findPrefence("logout");
category.removePreference(logout);