Не используйте Java3D (он в основном заброшен).JMonkeyEngine - БОЛЬШОЙ - я определенно рекомендую эту библиотеку. Очень активное сообщество, активное развитие, и хотя в настоящее время он называется «Альфа», он ОЧЕНЬ стабилен и относительно не содержит ошибок.
Одно возможное осложнение с XNA (из того, что я слышал)) добавление пользовательского интерфейса может быть проблематичным, что усложнит вашу работу.
Интернет, лично я бы отказался просто из-за чистого хамства (а из-за соображений производительности - там нет сомнений)
Unity я бы не рекомендовал не потому, что у меня есть опыт, а потому, что это «игровой движок» более высокого уровня.Я точно знаю, что JMonkeyEngine, с другой стороны, дает вам доступ к низкоуровневым функциям, которые вам понадобятся для создания такого инструмента.
Нижний уровень (DirectX, OpenGL), я не думаю,вам нужно идти так низко, а количество времени, которое вы бы тратили на выполнение базовых задач (которые предоставляет вам jME), просто делает это непомерным.