Не уверен, что ваш вопрос, но если вы спрашиваете, почему это происходит, ответ заключается в том, что вращения не являются коммутативными. То есть вращение тэты вокруг оси А, за которым следует поворот фи вокруг оси В, не совпадает с вращением фи вокруг оси В с последующим вращением тета вокруг оси А.
Если вы спрашиваете, почему последовательность операций, которая кажется нормальной при визуализации, не работает в коде, убедитесь, что вы используете правую систему координат. Кроме того, было бы полезно проработать различные матрицы вращения для осей x, y и z, используя единичный вектор (1,0,0) - фактически, если вы сделаете это на бумаге, вы получите лучшую интуицию для что происходит.