Во-первых, я не эксперт по vtk или любому пакету двигателей. Но твой первый вопрос чисто геометрический. Сначала вы должны вычислить плоскость, на которой лежат полиданные, как точку (PlaneDefPoint) в этой плоскости и плоскость, нормальную (PlaneDefNormal).
Вы можете вычислить его путем вычисления перекрестного произведения двух векторов, полученных из трех точек, лежащих на этой плоскости (в данном случае три точки из ваших полиданных).
* Point
PlaneDefNormal /
^ /
|/
---------------*------------------- Plane
PlaneDefPoint
После того, как вы получите определения плоскостей. Вычислить вектор до точки из точки определения плоскости (PlaneDefPoint) и вычислить произведение точки этого вектора (наклонной на рисунке) с плоскостью, нормальной (PlaneDefNormal).