Наличие большого количества материала в ScrollView означает, что вся иерархия представления должна быть заполнена очень тяжелыми объектами, что создает проблему с памятью.
Любое решение, которое вы придумаете для этой проблемы, в основном будет изобретаться заново.виджеты ListView и GridView.
Если вы не возражаете против изменения направления прокрутки, используйте их, и пусть эти очень умные виджеты управляют управлением памятью.