Для выпуклого многогранника: получите любую точку Px в многограннике, не принадлежащем этой грани (например, для вершины 4, 5, 6 или 7 для вашего примера) и проверьте знак тройного произведения - должен быть отрицательным для порядка CCW
((P1 - P0) .cross. (P2 - P1)) .dot. (Px - P1)
Если нет гарантии, что P0-P3 правильно упорядочены, то необходимо проверить признаки тройных произведений для всех триплетов всех граней вершин
Если многоугольник вогнутый, вам нужна точка возле заданной грани, но лежащая внутри многогранника. Например, выберите любой триплет последовательных вершин с острым внутренним углом, возьмите центр треугольника и сдвиньте этот центр по нормали на небольшое расстояние. Убедитесь, что смещенная точка находится внутри, иначе сделайте отражение