Я видел много (не коммерческих, в основном художественных) 3D-апплетов, сделанных с Обработка . Он не использует Java3D (AFAIK), самодельный 3D или OpenGL (используя JOGL IIRC).
Существует также ряд 3D-игр, использующих тот или иной движок 3D-игр, например, JMonkeyEngine.
Я не слишком уверен в том, что вы ищете. Если это своего рода простое приложение, может подойти игровое решение. Существуют также 3D-движки (на JavaScript, AFAIK), разработанные Mozilla и отдельно Google.
Примечание: как и для сайтов с чистым Flash, существует проблема с созданием сайта полностью на Java: поисковые системы, такие как Google, не будут индексировать его содержимое ...