Cursor cursor = getActivity().getContentResolver().query(ContactsContract.Contacts.CONTENT_URI, null, "TIMES_CONTACTED>0", null, "CONTACT_LAST_UPDATED_TIMESTAMP DESC");
Используйте этот запрос курсора. Я предполагаю, что вы использовали Hash Set для удаления дублирующихся контактов.