Я думаю, что вы ищете либо 2D segmentation
, если вы хотите все выбранные цвета на изображении для выбора, или flood fill
, если вы хотите найти область вокруг некоторой начальной точки все цвета находятся в желаемом диапазоне.
Когда вы говорите, векторная карта, я предполагаю, что вы имеете в виду контур пикселей для выбора. В этом случае, вероятно, легче найти нужные пиксели и затем нарисовать их, а не явно создавать многоугольник, в котором они будут содержаться.