Если вы не боитесь углубляться в код, вы можете взглянуть на исходный код Quake3 , используя 3D BSP.Вы можете быть уверены, что оно хорошо закодировано, по крайней мере для реального времени, игрового приложения.
Википедии должно быть достаточно, если вам нужны только высокоуровневые концепции.