Изменить версию Hadoop для Spark

Question

Как я могу установить версию Hadoop для приложения Spark, не отправляя jar и не определяя конкретный двоичный файл Hadoop? И возможно ли это вообще? Я просто не совсем уверен, как можно изменить версию Hadoop при отправке приложения Spark.

Как-то так не работает:

  val sparkSession = SparkSession
    .builder
    .master("local[*]")
    .appName("SparkJobHDFSApp")
    .getOrCreate()
  sparkSession.sparkContext.hadoopConfiguration.set("hadoop.common.configuration.version", "2.7.4")

Answer 1

Этого не может быть.Каждый из Spark Master и Workers имеет собственные JAR-файлы Hadoop на пути к классам, с которыми ваше собственное приложение должно быть совместимо с