То, что вы описываете, это сферическая система координат .
Общее вращение вокруг любой трехмерной оси тривиально, если выразить его в евклидовых координатах (матрице), но было бы ужасно сложным, если выразить его в сферической системе координат.
Просто переведите в евклидово, сделайте вращение и, наконец, верните обратно.