Вероятно, это связано с тем, что по умолчанию вы находитесь в корне дистрибутива и не можете писать на нем.
Если я попробую это:
~$ docker run -it rocker/geospatial bash
~$ R
> webshot::install_phantomjs()
> webshot:::find_phantom()
[1] "/ root / bin / phantomjs "
> list.files() # At the root /
> setwd("/home/rstudio/kitematic/") # Go to allowed directory
> webshot::webshot("https://www.r-project.org/", "r.png")
> list.files()
[1]" r.png "