Это зависит от приложения. Приложение для моделирования (Maya, Rhino) работает иначе, чем игровой движок (Unreal, Crysis), рендерер (RenderMan, VRay) или специализированный инструмент, такой как Z-Brush. Математические основы одинаковы, но структуры данных во многом зависят от приложения.
Если вы просто хотите вывести на экран какую-то 3d графику, выберите XNA . Он ориентирован на игры, но должен помочь вам начать.