На какой платформе вы пытаетесь работать?
А чего ты пытаешься достичь? «Графика» может быть много вещей. Вы пытаетесь работать над вещами типа игры? Мы говорим здесь 2d или 3d? Это манипуляции с изображениями или просто их отображение?
OpenGL и DirectX позволят вам делать практически все, что вам нужно, и напрямую взаимодействовать с драйверами оборудования, но во многих случаях это может быть излишним.