Не уверен, что это правильное место для вопросов по математике!
В любом случае, я не думаю, что есть решение, поскольку у вас есть уравнения
XAY = C1
YAX = C2
Y.t Y = I
X.t X = I
(где .t - транспонирование, тождество).Последние два уравнения являются ортогональностью X и Y.
Написано в компонентах: первые два соответствуют n ^ 2 уравнениям каждое, вторые два меньше 2 * n ^ 2, но все еще больше 2 *n (поскольку есть некоторые вырожденные компонентные уравнения).Таким образом, у вас есть 2 * n ^ 2 неизвестных, но более 2 * n ^ 2 уравнений, то есть переопределенная система.Но, может быть, я чего-то упускаю.
Если вы отбросите требование ортогональности, обычно должно быть уникальное решение.Однако это система нелинейных уравнений, которую вы можете попытаться решить с помощью функции Matlab fsolve (в панели инструментов оптимизации).