Прежде всего вы должны знать, что повороты осей x, y, z, называемые углами Эйлера, страдают от серьезных численных проблем.Также они не однозначны.Таким образом, либо вы сохраняете угол поворота и ось вращения, эффективно формируя замаскированный кватернион, либо придерживаетесь матрицы полного вращения.
Найти кватернион из матрицы вращения называется проблемой собственных значений.Технически вы определяете собственный вектор матрицы вращения, который является осью, а величина обозначает угол.