Обработайте данные пикселей как поверхность в 5-пространстве (по одному измерению для X, Y, R, G и B), затем выполните подсчет блоков.
Обновление: Это представляет собой довольно четкий обзор подсчета ящиков в двух измерениях, но его не должно быть сложно обобщить.