Ответ зависит от формата файла изображения. Это формат, который содержит необработанные данные RGB (например, несжатый TGA )? Это изображение YUV? Это сжатое изображение, такое как JPEG или PNG?
Уже существует множество библиотек C ++, которые могут читать самые разнообразные форматы графических файлов, а затем предоставлять необходимый вам доступ на уровне пикселей. Взгляните, например, на Adobe GIL или CImg .