Исключительный SQL-код Spark, работающий на IntelliJ, т.е. java.lang.IllegalArgumentException:

Question

val spark = SparkSession.builder.appName("Simple Application")
      .config("spark.sql.warehouse.dir",
              "hdfs://quickstart.cloudera:8020/user/hive/warehouse")
      .enableHiveSupport()
      .config("hive.metastore.uris","thrift://127.0.0.1:9083")
      .master("local") //local
      .getOrCreate()

При запуске кода Spark SQL в IntelliJ получим: Exception in thread "main" java.lang.IllegalArgumentException: Unable to instantiate SparkSession with Hive support because Hive classes are not found.

Answer 1

Это потому, что вы, возможно, пропустили импорт (замените на используемую вами версию spark):

<dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>2.4.0</version>
</dependency>

или следующее при использовании sbt:

libraryDependencies += "org.apache.spark" %% "spark-hive" % "2.4.0" % "provided"

Надеюсь, это поможет!