Apache Метод искры sun.mis c .Cleaner sun.nio.ch.DirectBuffer.cleaner () не найден во время искровой отправки

Question

Я пытаюсь запустить следующую отправку Spark с виртуальной машины в режиме кластера Yarn.

./spark-submit --master yarn --deploy-mode client test_spark_yarn.py

ВМ имеет java версию 11 и spark-2.4.5, а кластер пряжи java 8 и spark-2.4.0. Я получаю сообщение об ошибке ниже:

Сообщение об ошибке

Answer 1

Эта проблема обычно решается установкой JAVA_HOME на jdk8. Можете ли вы попробовать это?