Я думаю, что вы хотите транспонировать R. Я думаю, под обратным вы подразумеваете, что если S является обратным к R, то aRb, если bSa. И я предполагаю, что под матрицей вы подразумеваете единицу с единицами и нулями, чтобы указать, когда выполняется aRb.