Предполагая, что вы знаете уравнение плоскости (в противном случае вы можете подогнать его по методу наименьших квадратов или другим), создайте новую систему координат следующим образом:
получить нормальный вектор,
образуют перекрестное произведение с произвольным вектором, имеющим другое направление;
образует перекрестное произведение нормали и второго вектора,
нормализуйте все три и назовите новую ось z, x, y.
Это создает ортонормированную основу, к которой вы будете преобразовывать точки. Это соответствует жесткому преобразованию, которое сохраняет все расстояния. Вы можете опустить z, чтобы получить ортогональные проекции точек на плоскость.