По большей части линейная алгебра и вычислительная геометрия; Кватернионы используются широко, и числовой анализ необходим, если вы работаете над физическим движком.
Сколько вы будете использовать ежедневно, зависит от того, что вы делаете. Если вы программист графики и, следовательно, создаете сам движок трехмерной графики, то вы, вероятно, будете реализовывать или поддерживать реализации библиотек классов и функций, которые фактически выполняют математику, поэтому было бы относительно важно знать мрачные подробности. Если вы используете библиотеку в качестве клиента или работаете над другой частью игрового движка (AI, аудио, пользовательский интерфейс, камера и т. Д.), То вам нужно будет понять математику концептуально, но вы, безусловно, можете обойтись без знания того, как реализовать обратная матрица на доске над головой.
Графические API-интерфейсы не исключают необходимость знания математики; они ограничены рисованием, поэтому все управление сценами и моделирование мира должны быть реализованы вне графического API. Конечно, есть и промежуточное ПО, но многие студии используют свои собственные системы.
Существует достаточное количество ресурсов, предназначенных для этого рынка. Например, на Amazon есть такие книги, как 3D Math Primer для графики и разработки игр , и, вероятно, в Интернете есть и много других вещей.