Из того, что вы говорите, кажется, что у вас есть трехмерные координаты контура прямоугольника. Я приму декартовы координаты и неискаженную геометрию.
Точки принадлежат плоскости, которую можно определить с помощью 3D-подгонки плоскости. Затем путем ортогональной замены переменных вы можете спроецировать точки на эту плоскость.
Для достаточно хорошей точности вы можете
найти центр тяжести точек;
найти точку, наиболее удаленную от центроида;
разделить точку, установленную линией от центроида к этой точке;
на обеих половинах, найдите самые отдаленные точки от центроида;
соединяющая их линия позволяет вам разделить ее на четыре квадранта;
в каждом квадранте, примените подгонку, чтобы найти края.
Если то, что вам нужно, это ограничивающий прямоугольник из нескольких полос, вы можете продолжить, как указано выше, чтобы найти направления сторон. Затем примените изменение координат, чтобы выровнять эти стороны по оси. Найти ограничивающий прямоугольник теперь просто.
Отмените преобразования, чтобы получить трехмерные координаты прямоугольника в 3D.