Как уже говорилось выше, лучшая книга, которую вы можете получить, - «Физически обоснованный рендеринг» Мэтта Фарра (см. Www.pbrt.org). Объясняет множество алгоритмов в мельчайших деталях, включая такие сложные вещи, как фотонное картирование. Более того, он включает в себя полностью работающую трассировку лучей, так что вы можете на нее взглянуть. Он также охватывает основы математики, поэтому, если вы не хотите покупать много книг, я определенно рекомендую взглянуть на эту.
Это гораздо лучше, чем классические книги по этому предмету, поскольку они, как правило, объясняют только теорию, а не столько, как реально ее реализовать. В качестве основы подойдет любая математическая книга, или вы можете попробовать «Обнаружение столкновений в реальном времени», которая также объясняет множество процедур пересечения (которые вам понадобятся при трассировке лучей).
Если вы действительно хотите начать с основ, вы должны попробовать «Компьютерную графику: принципы и практика», она устарела (некоторые части на самом деле бессмыслица), но она довольно хорошо объясняет основы. Если вы хотите более свежую книгу, попробуйте «Основы компьютерной графики», которая содержит то же самое, но не настолько подробно (должно быть достаточно, чтобы вы начали).
И последнее, но не менее важное: страница в Википедии по Raytracing на самом деле довольно хороша и должна дать вам некоторые отправные точки. Взгляните на раздел внешних ссылок.