Я могу ошибаться, но, возможно, здесь может помочь теория графов.На самом деле я рассматриваю только несколько тем, но учитывая, что полигон в вашем наборе данных может быть тем, что Теория графов считает циклом, я был бы удивлен, если бы не было методов для нахождения циклов в наборе вершин.
Теория графиков - хороший набор видеороликов на YouTube, охватывающих основы