Как исправить Exception при запуске локальной программы spark-sql на windows10, включив HiveSupport?

Question

Я работаю над SPARK-SQL 2.3.1 и Я пытаюсь включить hiveSupport при создании сеанса, как показано ниже

.enableHiveSupport()
.config("spark.sql.warehouse.dir", "c://tmp//hive")

Я бежал ниже команды

C:\Software\hadoop\hadoop-2.7.1\bin>winutils.exe chmod 777  C:\tmp\hive

Во время работы моей программы получаем:

Вызывается: java.lang.RuntimeException: java.lang.RuntimeException: Корневой каталог-каталог: / tmp / hive на HDFS должен быть доступен для записи. Текущие разрешения: rw-rw-rw- в org.apache.hadoop.hive.ql.session.SessionState.start (SessionState.java:522)

Как решить эту проблему и запустить мой локальный компьютер с Windows?

Answer 1

Попробуйте использовать эту команду:

hadoop fs -chmod -R 777 /tmp/hive/

Это Исключение Искры, а не Windows. Вам необходимо установить правильные разрешения для папки HDFS, а не только для вашего локального каталога.