Ваши вопросы носят довольно общий характер, поэтому я собираюсь показать вам замечательные учебные пособия NeHe, которые могут объяснить это гораздо лучше, чем я, в месте, отведенном для SO-ответов ...
http://nehe.gamedev.net/data/articles/article.asp?article=08
Эта тема может быть очень углубленной, но вышеприведенная статья является хорошим началом для понимания матричных преобразований и того, как они взаимодействуют с «камерой».