Зависит от того, что именно вы хотите выучить.
В основе 3d-контента лежит openGL, на самом деле нет конкурентов для 3d-приложений, особенно на не-Windows платформах.
Вдобавок к этому вам может понадобиться граф сцены (osg, openscengraph, coin) - он обрабатывает список объектов, которые вы хотите нарисовать, их отношение друг к другу в пространстве, возможность перемещать один относительно других, выбирать объекты и т.д. Он вызывает opengGL для фактического рендеринга.
Тогда поверх этого вам нужна библиотека графического интерфейса. Qt, Fltk, wxWigets или встроенная в библиотеку сцены или написанная непосредственно в openGL. Это обрабатывает меню, диалоговые окна и т. Д. Вашего приложения. Он предоставляет холст openGL для рисования.
Персональный выбор: openscenegraph и Qt