Способ Android сделать это - сделать список фильтруемым с помощью клавиатуры, как Blackberry. Вы должны сделать это таким образом, чтобы соответствовать опыту работы с платформой.
Чтобы реализовать это, вы вызываете метод setTextFilterEnabled(boolean textFilterEnabled) в списке. Смотрите пример ниже:
myListView.setTextFilterEnabled(true);
Полный пример см. В Hello, ListView .
Если вы не можете использовать это, то вы можете использовать быструю прокрутку, как показано в приложении «Контакты». Это еще не общедоступный API, но вы можете реализовать его из исходного кода контактов по адресу https://android.googlesource.com/platform/packages/apps/Contacts
.