Пространство параметров не кажется слишком большим, и тестирование тоже не так уж плохо. Если вы исправите один многоугольник, другой плойгон может быть смещен вдоль оси x на X, смещен вдоль оси y на Y и повернут на r.
Интересную область для X и Y можно определить, найдя некоторую ограничивающую рамку для полигонов. р, конечно, между и 360 градусов.
Итак, как насчет того, чтобы вы попробовали набор из набора равных интервалов в интересном диапазоне для X, Y и r. Возможно, когда вы найдете интересные точки в этих измерениях, вы сможете выполнить более точный поиск.