Если вы хотите разработать собственный программный 3D-движок, который довольно крутой, Разработка игр на Java - это полное пошаговое руководство по созданию 3D-движка на чистой Java, способного рендеринга текстурированных и освещенных полигонов. Вы многое узнаете о математике и понимаете, что на самом деле это не очень сложно; Кроме того, движок полностью ваш, поэтому вы знаете его изнутри и снаружи, и вам не нужно изучать API. С другой стороны, это может быть устаревшим. Уже несколько лет он лежит у меня на полке, но сделан на Java 1.4, поэтому не все слишком старые.
В противном случае, я бы определенно рекомендовал JOGL или его конкурента LWJGL ; однако, оба требуют знания OpenGL, поэтому, если вы хотите просто заняться загрузкой 3D-моделей и перемещать их, jMonkeyEngine может быть лучшим вариантом для вас. Существует также менее известный Xith3D движок, несколько конкурирующий с jME, хотя он не обновлялся более года.
P.S. Вы когда-нибудь видели RuneScape ? Он использовал JOGL, хотя теперь я думаю, что они переключились на свой собственный порт только тех функций OpenGL, которые использует их код, вроде как урезанная версия JOGL.