С математической точки зрения вы могли бы решить проблему, преобразовав декартовы координаты в полярные координаты относительно центра прямоугольника.
r = sqrt(x²+y²)
phi = atan2(y,x)
(Обратите внимание, что x и y должны быть относительно центра вращения). С полярными координатами вращение не представляет проблем, так как вам просто нужно добавить желаемый угол к phi и затем преобразовать обратно.в декартовы координаты.
x = r*cos(phi)
y = r*sin(phi)
(И снова, результирующие координаты будут относительно центра вращения, поэтому вам нужно добавить их к декартовому вектору, который указывает на центр)