Похоже, вы путаете оконный менеджер (SDL и xlib) с библиотекой рендеринга (opengl).
Просто выберите оконный менеджер (SDL, glut или xlib, если вам нравится вызов), активируйте режим двойного буфера и убедитесь, что вы получили прямой рендеринг.
Какая у вас графическая карта? Скорее всего, он будет обрабатывать пиксели на GPU. Посмотрите, как создавать пиксельные шейдеры в opengl. Пиксельные шейдеры обрабатывают на пиксель.