Как часто, ответ зависит от того, почему именно вы хотите это сделать.
Если цель состоит в том, чтобы минимизировать ошибку численного приближения, суммы квадратов разности (или максимум абсолютных разностей) могут делать.
Я бы воздержался от произвольной формулы такой взвешенной суммы различий в некотором колориметрическом c пространстве, которая не имеет точного обоснования и ее трудно интерпретировать.
Если вы хотите Чтобы изображение оставалось максимально похожим на оригинал для человеческого глаза, можно использовать «перцептуально однородный» показатель c, например CIELAB ΔE *. В любом случае, по моему личному мнению, такие метрики излишне сложны и приносят мало пользы. Вы увидите различия только для цветов, которые далеки от цветов в вашей палитре, если они вообще будут.