У меня возникла та же проблема, и в моей Mac OS 10.13.6 у меня сработал следующий подход, вы можете применить незначительные изменения, связанные с ОС, при использовании в других ОС.
OS:
Установка rJava вручную
# curl -#ROL https://www.rforge.net/rJava/snapshot/rJava_0.9-8.tar.gz
# R CMD INSTALL rJava_0.9-8.tar.gz
# su -
Место, где вы установили программное обеспечение R, возможно, у вас другое местоположение.
# cd /Library/Frameworks/R.framework/Versions/3.5/Resources/lib
Я обнаружил, что разные Java используются R, и форсирование осуществляется с помощью softlink:
#ln -s /Library/Java/JavaVirtualMachines/jdk-10.0.2.jdk/Contents/Home/lib/server/libjvm.dylib libjvm.dylib
Помните, что вам нужно поместить JAVA_HOME в следующую папку в R Studio:
>Sys.setenv(JAVA_HOME = "/Library/Java/JavaVirtualMachines/jdk-10.0.2.jdk/Contents/Home")
Проверка работы rJava в R Studio:
>require(rJava)