Без примеров или более подробного описания трудно дать хороший совет. Но, как правило, это может быть сделано для некоторых типов изображений.
Например, предположим, что изображение показывает здания, столбы, мебель или что-то, что должно иметь вертикальные края. Запустите детектор края, затем возьмите преобразование Фурье. Должны быть пики или некоторый видимый образец в спектре мощности вдоль оси Y для не повернутого изображения. Спектр мощности вращается так же, как изображение. Если вы можете разработать алгоритм, чтобы найти спектральные особенности, которые указывают вертикальные ребра, вы можете измерить его угол w.r.t. начало координат (нулевая частота). Это угол поворота изображения.
Но вам придется отличать эту особенность от всех других характеристик изображения, которые отображаются в спектре мощности. Наслаждайтесь этим - это та деталь, которая займет большую часть вашего творчества и времени.