При выполнении переходов из одной системы координат в другую основное действие заключается в выравнивании этих систем. Вот что вам нужно:
- Перевести нижнюю левую угловую точку синего прямоугольника (начало 2D-системы координат) в начало 3D-системы координат (T)
- Совместите ось x двух систем с вращением (R1)
- Совместите другую ось (ось Y) с другим поворотом. (R2)
В линейной алгебре преобразования применяются в обратном порядке, поэтому, учитывая заданную точку p в трехмерном пространстве, вы получите результат:
R2 * R1 * T * p
Статьи в Википедии о Матрице перевода и Матрица вращения являются хорошими ресурсами о том, как вычислить эти матрицы.
В качестве последнего напоминания вам необходимо использовать однородную форму координаты, т.е. р (х, у, г, 1)