В данном случае вам не нужно иметь дело с трехмерной информацией, это просто функция отображения, от одного набора координат к другому.
Посмотрите на аффинные преобразования, они способны исправлять простые эффекты перекоса и перспективы. Вы должны быть в состоянии найти где-нибудь код, который вычислит преобразование из 4 точек в углах вашего прямоугольника.
Почти забыл - если "быстрый" действительно важен, вы можете упростить систему, чтобы использовать только простые преобразования сдвига в комбинации, хотя это плохо скажется на качестве изображения для сильно наклоненных объектов.