Если вы хотите поэкспериментировать с 3D, гораздо проще приступить к работе, чем пытаться что-либо делать с DirectX (хотя, конечно, API DirectX более точно соответствует тому, что фактически делают разработчики игр).
Тот факт, что он поддерживается сообществом, означает, что сегодня вы не получите много богатства, но для многих инструментов он все еще способен. Например, простой инструмент визуализации данных для бизнеса, а не для игр, легко сделать в Java3D (именно для этого я и использую его, в основном).