Да, но не так просто, как с любой другой картированной эстетикой. Вам нужно будет создать новый слой, в котором вы меняете цвет и правильно фильтруете слои. Вы можете видеть, что это становится довольно трудоемким, если у вас есть 10+ групп, каждая из которых нуждается в собственном цвете ярлыка.
library(ggplot2)
library(ggforce)
ggplot(iris, aes(Petal.Length, Petal.Width)) +
geom_mark_ellipse(aes(fill = Species, label = Species,
filter = Species != 'versicolor')) +
geom_mark_ellipse(aes(fill = Species, label = Species,
filter = Species == 'versicolor'),
label.colour = "green") +
geom_point()