Чтобы найти ближайший цвет, вам нужно определение «рядом», поэтому метрика.
В Википедии вы найдете различные метрики различия цвета .
Лично я бы использовал 2 * R * R + 4 * G * G + 3 * B * B. (нет необходимости в квадратных корнях, вы просто сравните те же показатели). Легко вычислить, вы можете использовать только целые числа (если вы используете 32-битные целые числа, у вас не будет переполнения).
Затем найдите, какой цвет имеет наименьшие различия между вашим целевым цветом.
Другие методы более точны, но в этом случае «RGB» недостаточно. Вам необходимо знать, какое цветовое пространство используется (возможно, вы находитесь в sRGB).