Поскольку в данном случае на самом деле нет кривой для линии, вы могли бы использовать что-то очень простое (что подчеркивает работу многоугольника).
x <- c(0,1,1,0)
y <- c(x[1:2]/2, x[3:4]/4)
polygon(x,y, col = 'green', border = NA)
Теперь, если у вас есть кривая, выпотребовалось бы больше вершин.
curve(x^2, from=0 , to =1, col="darkblue")
curve(x^4, from=0 , to =1, add=T, col="darkred")
x <- c(seq(0, 1, 0.01), seq(1, 0, -0.01))
y <- c(x[1:101]^2, x[102:202]^4)
polygon(x,y, col = 'green', border = NA)
(увеличьте диапазон этой последней кривой и посмотрите, как при использовании аналогичного кода вы будете обрабатывать кривые пересечения)