Первая проверка, определен ли JAVA_HOME.
Sys.getenv("JAVA_HOME")
Конечно, он не определен.Не все версии Java работают.Версия 1.8 работает.Чтобы определить это и всегда быть уверенным, что это работает.
if (nchar(Sys.getenv("JAVA_HOME")) < 1) {
Sys.setenv(JAVA_HOME = "/Library/Java/JavaVirtualMachines/jdk1.8.0_192.jdk/Contents/Home/")
}