В игре много частей.
Без фона линейной алгебры вы можете обойтись: сценариями, сетевым взаимодействием, игровым процессом, звуком, камерой (частично), ограниченной анимацией, полной анимацией, если движок достаточно завершен, некоторым рендерингом, визуальными активами, внешними инструментами, ...
Вы не сможете сделать: ядро 3d движка, шейдеры, множество трюков для рендеринга.
К сожалению, последние самые интересные ИМХО