Вам не нужно устанавливать Gnome или KDE. Они используются для управляемых окон, и вы можете запускать графические приложения без менеджера окон.
Поэтому вам придется установить X-сервер. Х-сервер отвечает за рисование вещей на вашем экране. Без X-сервера вы не сможете запускать графические приложения.
После установки X запустите его, экспортируйте переменную окружения DISPLAY
, а все остальное похоже на написание приложения OpenGL, которое работает в полноэкранном режиме: -)