Вы можете просто решить систему уравнений для ваших переменных:
res = solve( vpa(R) == Cequivalent, roll, pitch, yaw);
Однако решения не существует, поэтому я предполагаю, что вы где-то допустили ошибку.
Результат будет в арифметика переменной точности c (VPA) и может быть преобразована в двойное значение:
res = double(res);