Числа, которые вы получаете, являются воображаемыми числами.Вы никогда не должны получать мнимые числа при расчете евклидовых расстояний.
Убедитесь, что ваши евклидовы расстояния правильные, например
distance=sqrt(deltaX.^2 + deltaY.^2)
Если вы действительно уверены, чтоваши расстояния должны быть комплексными числами, сделайте сравнение, используя, например, норму, то есть
norm(num2) > norm(num1)
Для меня это будет true
.