Точка в направлении (x, y, z) на бесконечности имеет однородные координаты (x, y, z, 0). Таким образом, предполагая, что вы используете типичные матрицы проекции вида для описания модели вашей камеры, это так же просто, как вычисление
P * V * ( cos(lon)*cos(lat), sin(lon)*cos(lat), sin(lat), 0 )'
, а затем переход к разделению перспективы и растеризации.