Я не знаю ничего готового к использованию. Вдобавок ко всему, я бы предложил создать грубую трехмерную гистограмму значений HSL каждого изображения (скажем, 8 бинов hor H, 4 для S и L), масштабировать гистограмму так, чтобы сумма всех ячеек составляла 1 , затем запустите подходящую попарную метрику (свертка, MSE) для всех гистограмм.
Применяя некоторые эвристические и умные индексации, вы также можете избежать сложности O (N ^ 2).