У меня есть Hadoop 2.7.7, Java JDK 13 и Spark 2.4.4. Hadoop настроен и работает правильно. Я правильно определил свои пути и дважды проверил их. Когда я запускаю команду spark-shell, я получаю следующий список предупреждений и ошибок:
spark-shell
Что вызывает это?
Использование JDK 8 вместо JDK 13 решило проблему, не изменяя ничего, в том числе конфигурации пути. Spark, похоже, просто не нравится ни одна версия Java прошлой версии 8.