Я думаю, вам нужно проверить, нет ли утечки памяти, потому что я занимаюсь разработкой подобного приложения, поэтому после загрузки около 100–150 элементов с изображениями, кэшированными в памяти, оно увеличивается от 1-2 МБ до 6 МБ.
Также обратите внимание, что отладочный выпуск всегда будет работать медленнее по сравнению с профилем и сборкой выпуска, вы можете попробовать их использовать и посмотреть, как он работает.