Если точки были построены как пересечения между плоскостью и краями куба, то они образуют выпуклый многоугольник.
Чтобы правильно расположить вершины этого многоугольника, сделайте проекцию на некоторую плоскость - или на плоскость сечения, или на одну из плоскостей OXY, OXZ, OYZ - просто выберите одну, не нормальную к плоскости сечения, и установите соответствующий компонент равным нулю.
Затем выберите крайнюю левую точку в этой плоскости в качестве базы и отсортируйте другие точки по полярному углу относительно базы.