Ну, это действительно зависит от нескольких вещей; в частности, какой край вы хотите? Хотите найти ближайшее ребро или у вас есть другие критерии, по которым вы хотите выбрать ребро по (например, кардинальному направлению)?
Если вы хотите найти ближайший край, вы в основном хотите выполнить итерацию по всем отрезкам линии, которые определяет многоугольник, выполнив вычисление расстояния от отрезка до точки; это найдет ваше расстояние. Есть хорошая реализация алгоритма в Python по этому вопросу, и там есть хорошее описание алгоритмов.