Я установил Hadoop версии 2.8.3 в моей среде Windows 10, и она работает нормально.Теперь, когда я пытаюсь установить Apache Spark (версия 2.4.0) с пряжей в качестве менеджера кластера, и он не работает.Когда я пытаюсь отправить искровое задание, используя spark-submit для тестирования, оно появляется на вкладке ACCEPTED в пользовательском интерфейсе YARN, после чего происходит сбой.
Я прикрепил изображение журналов контейнера пряжи.
Это мои искры-defaults.conf
spark.master yarn
spark.driver.memory 512m
spark.yarn.am.memory 512m
spark.executor.memory 2G
spark.executor.cores 1
spark.eventLog.enabled true
spark.eventLog.dir hdfs://localhost:9000/spark-logs
spark.history.provider org.apache.spark.deploy.history.FsHistoryProvider
spark.history.fs.logDirectory hdfs://localhost:9000/spark-logs
spark.history.fs.update.interval 10s
spark.history.ui.port 18080