Вы пробовали пример программы пирамидального фильтра среднего смещения, приведенной в примерах с OpenCV? Упоминание о «мультипликационном» фильтре напомнило мне об этом - цвета сглажены, а тонкие оттенки слиты и уменьшены, что приводит к уменьшению количества присутствующих цветов.
Сокращение основано на пороговом значении, и некоторые эксперименты, несомненно, должны дать удовлетворительные результаты.