Не зная Какао, я бы сказал, что toValue определяет радиан вращения 1.0Pi. В 360 градусах есть 2Pi радиана. Следовательно 1.0Pi представляет 180 градусов. Чтобы получить вращение на 170 градусов, я бы установил значение
animation.toValue = [NSNumber numberWithFloat:(170.0/180.0) * M_PI];