Это довольно сложная проблема. Ниже приводится начало возможного подхода. Реальное решение - не ставить листья так близко к краю экрана, а делать снимок только области экрана.
library(raster)
p <- raster("prueba.tif")
p <- reclassify(p, cbind(8, NA))
m <- as.matrix(p)
nc <- ncol(m)
c1 <- 1:200
c2 <- (nc-200):nc
nr <- nrow(m)
r1 <- 1:200
r2 <- (nr-200):nr
for (r in 1:nr) {
i <- which(is.na(m[r,c1]))[1]
if (!is.na(i)) m[r,1:i] <- NA
i <- nc - which(is.na(rev(m[r,c2])))[1]
if (!is.na(i)) m[r,i:nc] <- NA
}
for (c in 1:nc) {
i <- which(is.na(m[r1,c]))[1]
if (!is.na(i)) m[1:i, c] <- NA
i <- nr - which(is.na(rev(m[r2,c])))[1]
if (!is.na(i)) m[i:nr, c] <- NA
}
x <- setValues(p, as.vector(t(m)))