Для этого изображения : Как сделать фильтр, который возвращает true для коричневого цвета (насекомое) и false для фона?
Выберите значение RGB, которое представляет коричневый.Затем для каждого пикселя вычислите, например, евклидово расстояние в пространстве RGB, и примените порог к результату.
RGB может быть не лучшим цветовым пространством.