По сути, диагональ может быть полностью внутри, полностью снаружи, как внутри, так и снаружи, и, возможно, перекрывать один или несколько ребер во всех трех случаях. Это делает не совсем простым определение того, что вам нужно.
С математической стороны, на самом деле не так уж много различий между внутренней и внешней частью, за исключением таких мелких деталей, как внешняя сторона, имеющая бесконечную площадь. (По крайней мере, для 2D-плоскости; на сфере внутренность и внешность плигона не различаются резко.)
У вас также есть вопрос о порядке расположения ребер полигона. Самый простой способ - суммировать все углы между соседними ребрами по порядку. Это добавит до N * (pi / 2). Для полигонов против часовой стрелки N положительно.
[править]
Как только вы знаете направление и если у вас нет ни одного из сложных случаев, перечисленных выше, вопрос становится легким. Угол p0-p1-p2 меньше угла p0-p1-p3. Следовательно, ребро p1-p3 лежит, по крайней мере, частично вне многоугольника. И если он не пересекает никакой другой край, он, очевидно, полностью лежит вне многоугольника.