Вопрос немного двусмысленный, но давайте все равно попробуем:
Предположим, что точки (x, y) на прямой определяются уравнением Ax + By + C = 0.
Тогда мы, очевидно, можем определить, находится ли точка (x, y) на прямой, оценивая
Ax + By + C. Если точка не находится на прямой, то знак Ax + By + C говорит нам, на какой стороне линии находится точка.
Следовательно, проверяя знаки выражения Ax + By + C для каждой вершины (x, y) многоугольника, мы можем определить, все ли точки многоугольника находятся на одной стороне линии или нет.
(Немного другая проблема - определить, пересекает ли многоугольник отрезок.)