Сначала я бы проверил, находится ли точка внутри вписанной окружности (вы можете легко вычислить радиус вписанной окружности) или за пределами описанной окружности (которая у вас уже есть).
Первый означает, что точка находится, вторая означает, что она отсутствует.
Статистически, большинство точек ввода должны позволять вам решать на основе вышеупомянутых простых тестов.
Для сценария наихудшего случая (точка находится между вписанными и описанными кругами), я думаю, что вы можете найти две вершины, которые находятся ближе всего к точке, а затем посмотреть, на какой стороне сегмента V1V2 эта точка (внутренняя или внешний, относительно O-центра).
Особый случай: точка равна одной из вершин => она в.
Если у меня появится более умная идея (или если я когда-нибудь начну действительно изучать тригонометрию), я отредактирую ответ, чтобы вы знали:)