Насколько я понимаю, вы хотите просто добавить истинное среднее значение (или несколько?) К диаграмме. Если у вас есть значения, зачем использовать stat_summary вместо простого построения точек?
#sample data
x <- rnorm(30)
y <- rep(letters[1:3],10)
TrueAVGCPC <- c(0.34,0.1,0.44)
#plot
p <- qplot(y,x,geom='boxplot')
p <- p+geom_point(aes(x=c(1,2,3),y=TrueAVGCPC),col="red")
print(p)