Вы можете вычесть одно из другого, например:
int color1 = 0x7fffff;
int color2 = 0x000123;
int color_difference = color1 - color2;
Затем решите, что вы считаете "близкими":
if (color_difference <= [your acceptable difference]){
// Colors are close.
}else //Colors are too different.
Оба эти цвета являютсяоттенок зеленого: 0x08ff76 и 0x04b252
Их разница: 44d24
if (color_difference <= 44d24){
// Colors are close.
}else //Colors are too different.
Сначала вам нужно решить, что вы считаете близким:)