Вы обращаетесь к нему так же, как к ЦП (это просто блок памяти, хранящийся в поле данных IplImage). Быстрый доступ к пикселям действительно зависит от алгоритма, который вы хотите реализовать, например, если вы хотите выполнить свертку, чем использование разделяемой памяти GPU поможет вам.
Вы можете рассмотреть возможность размещения изображения в памяти текстур. Это может помочь повысить производительность при доступе к пикселям.