Самый простой способ - особенно для множества точек - триангулировать многоугольник, а затем выполнить тест точки в треугольнике.
Вы можете преобразовать многоугольник в набор выпуклых многоугольников, но это сложнее.
См. Также Случайные точки внутри 4-стороннего многоугольника