Попробуйте поместить их в маленькие кластеры:
Подумайте так же, как Увеличение на Google Maps. Если вы далеко, это показывает увеличенное изображение всего, но при увеличении вы получаете больше деталей. С помощью этого метода вы можете иметь кластеры POI, пока пользователь смотрит по сторонам. Если они останавливаются в одном месте на некоторое время, вы можете начать загрузку значений в этом кластере. Вычислить все это на сервере, отправив пользователям местоположение и направление в виде запроса.
Попробуйте разрешить пользователю сохранять загружаемые POI. Таким образом, вы не сохраняете все, что вы скачали с сервера.