Если я правильно понял ваш вопрос, вы можете решить эту проблему, сопоставив пол с fill
.
df <- data.frame(sex = rbinom(1000, 1, .5),
age = rnorm(1000, mean = 50, sd = 10))
df$sex <- as.factor(df$sex)
ggplot(df, aes(x = age, fill = sex))+
geom_histogram(position = "identity")+
scale_fill_manual(values = c("#00BFC4", "#F8766D"))
После этого вы можете переключать цвета, чтобы они соответствовали правильно