Зная, где в данный момент находится устройство, используя (что довольно просто, по крайней мере, на Android) и относительное расположение ближайших (это до реализации) меток GPS (они должны быть явно откуда-то загружены).
Магнитометр должен указывать на то, где вы находитесь лицом к устройству, что дает вам направление (например, 180º = направление на юг). Таким образом, вы можете рассчитать конус видения, какие маркеры вы хотите показать.
Вам нужно только рисовать вещи поверх изображения с камеры;)