Первый - это угол в радианах, остальные 3 параметра - это ось (x, y, z).
Например, если вы хотите повернуть на 180 градусов вокруг оси z, просто вызовите функцию следующим образом:
myView.layer.transform = CATransform3DMakeRotation(M_PI, 0.0, 0.0, 1.0);
и примените результат к свойству transform вида, который вы хотите повернуть.