Этот вопрос состоит из нескольких частей. Прежде всего, сами данные. Это приходит из базы данных SQLite через запрос? Если это так, у вас есть объект Cursor, который содержит весь результат. Поэтому, если у вас есть запрос, который дает 200 строк, у вас в памяти будут все 200 строк (поэтому так важно сузить проекцию).
Что касается самого списка, то эта часть довольно эффективна - Android будет создавать представления только для тех элементов, которые вы действительно можете видеть. И, в зависимости от того, какие у вас есть виды и поддерживают ли они переработку, Android будет фактически перерабатывать существующие объекты, чтобы минимизировать объем накладных расходов при инициализации и управлении памятью.