Для Linux существует Compiz Fusion , который является реализацией X11 поверх OpenGL. Я считаю, что система графического интерфейса в MacOSX и iPhone основана на OpenGL ( Кварц ).
Если вы имеете в виду GUI-фреймворки, которые поддерживают 3D, я думаю, что большинство из них это сделает, т.е. от FLTK до Qt .