Начиная с ggplot2 2.x этот подход, к сожалению, нарушен.
Следующий код обеспечивает именно то, что я хотел, с некоторыми дополнительными вычислениями:
library(ggplot2)
library(data.table)
orderX <- c("A" = 1, "B" = 2, "C" = 3)
y <- rnorm(20)
x <- as.character(1:20)
group <- c(rep("A", 5), rep("B", 7), rep("C", 5), rep("A", 3))
dt <- data.table(x, y, group)
dt[, lvls := as.numeric(orderX[group])]
dt[, average := mean(y), by = group]
dt[, x := reorder(x, lvls)]
dt[, xbegin := names(which(attr(dt$x, "scores") == unique(lvls)))[1], by = group]
dt[, xend := names(which(attr(dt$x, "scores") == unique(lvls)))[length(x)], by = group]
ggplot(data = dt, aes(x=x, y=y)) +
geom_point(aes(colour = group)) +
facet_grid(.~group,space="free",scales="free_x") +
geom_segment(aes(x = xbegin, xend = xend, y = average, yend = average, group = group, colour = group))
Полученное изображение: