После того, как вы прочитали данные изображения в некотором буфере, обычное приведение должно помочь:
GdkPixbuf *pixbuf = gdk_pixbuf_new_from_file ("image.png", NULL);
unsigned char *pixels = gdk_pixbuf_get_pixels (pixbuf);
int *array = reinterpret_cast<int*>(pixels);
Пример использует библиотеку GdkPixbuf, но другие библиотеки должны быть похожими.