Если обработка изображения занимает больше времени, чем чтение N изображений с диска, то одновременная обработка нескольких изображений является выигрышем. На рисунке вы можете прочитать файл размером 2 МБ с диска менее чем за 100 мс (включая время поиска). Посчитайте одну секунду, чтобы прочитать 8 изображений в память.
Таким образом, если обработка изображения занимает больше секунды на изображение, ввод-вывод не является проблемой. Делайте это одновременно. Вы можете уменьшить его, если вам нужно (т.е. если обработка занимает 1/2 секунды, тогда вам, вероятно, лучше всего использовать только 4 одновременных изображения).
Вы должны быть в состоянии проверить это довольно быстро: напишите программу, которая случайным образом считывает изображения с диска, и вычисляет среднее время для открытия, чтения и закрытия файла. Также напишите программу, которая обрабатывает образцы изображений и вычисляет среднее время обработки. Эти цифры должны указывать, будет ли полезна параллельная обработка.