Изменить данные или aes, переданные в geom_line. Здесь я делаю меньший информационный кадр, содержащий только те точки, которые я хочу соединить линией. Вы также можете поднабор на месте.
df <- data.frame(x = 0:20, y = 0:20)
line.df <- df[df$x > 5, ]
ggplot(df, aes(x=x, y=y)) +
geom_point() +
geom_line(data = line.df)