Отмените два вектора, которые не являются осью, вокруг которой вы хотите вращаться.
Итак: вы можете взять матрицу идентификаторов, отменить 1 для двух осей, на которые вы хотите повлиять, и оставить ту, которую вы хотите вращать, без изменений, тогда вы можете умножить две.
Или, если у вас есть доступ к осям индивидуально (например, вы используете API, который предлагает это), просто используйте что-то ala myMtx.xAxis.NegateInPlace (); myMtx.zAxis.NegateInPlace () для поворота вокруг Y и т. д.