Я бы хотел указать вам сначала , но у меня также есть некоторый опыт, которым я бы хотел поделиться.
Во-первых, показ чего-то большего, чем, скажем, 500 элементов в списке, вероятно, заставит пользователей жаловаться (хотя, может быть, и нет). Пользователи могут быть перегружены информацией, и пользователям становится неудобно просматривать все данные (даже с фильтрами, потому что некоторые пользователи откажутся использовать их, если они могут прокручивать).
Во-вторых, адаптер данных в Android довольно умен, поэтому адаптер с тысячами элементов будет обрабатываться плавно благодаря тому, как Android кэширует представления и выполняет итерацию по результирующему набору с курсором, который является предметом той ссылки, которую я указал вам в начале моего ответа.