Кросс-корреляция только дает сдвиг. Что он делает, так это сравнивает два изображения во всех возможных переводах.
Вы вычислили взаимную корреляцию через область Фурье и получили результат, который имеет очень маленькие мнимые значения. Это результат численных неточностей, и их следует игнорировать. Взаимная корреляция двух вещественных сигналов (или изображений) является действительным сигналом (или изображением).
Чтобы найти вращение, вам, вероятно, стоит заглянуть в преобразование Фурье-Меллина .