Свойство (hive.default.fileformat) в hive-site. xml в каталоге conf conf не загружается - PullRequest
Новая
       110

Свойство (hive.default.fileformat) в hive-site. xml в каталоге conf conf не загружается

0 голосов
/ 11 февраля 2020

Мы пытаемся установить формат файла по умолчанию для spark (hive включен) как или c в платформе hortonworks. Но какие бы методы мы ни использовали, по умолчанию он всегда выводит файл в текстовом формате. У меня заканчиваются идеи о том, в чем может быть проблема, любая помощь будет оценена.

spark версия: 2.3.0.2.6.5.1175-1

HDP: 2.6. 5.1175-1

Чтобы установить выходной формат как ИЛИ C, мы следуем следующим шагам

  1. Открытая искра sql с использованием spark-sql
  2. set hive.default.fileformat=orc, даёт некоторое предупреждение для использования spark.hadoop.hive.default.fileformat, но в итоге hive.default.fileformat работает только.
  3. create table test1 as select '1'
  4. desc extended test1

вывод будет

Библиотека библиотеки Serde. apache .had oop .hive.ql.io.or c .OrcSerde

InputFormat org. apache .had oop .hive.ql.io.or c .OrcInputFormat

OutputFormat org. apache .had oop .hive.ql.io.or c .OrcOutputFormat

Но у нас есть много пользователей, пытающихся подключиться к приложению различными способами, такими как spark- sql, через приложение, spark-shell, pyspark et c, поэтому мы хотите сохранить формат по умолчанию как или c без указания пользователя ng, чтобы явно установить это свойство.

Это шаги, которые мы пробовали

  1. в ambari -> spark2 -> config -> Custom spark2-hive-site-override, мы попытались поместить различные типы значений, такие как hive.default.fileformat , spark.had oop .hive.default.fileformat , spark.hive.default.fileformat , spark. sql .hive.default.fileformat как ИЛИ C и перезапущен
  2. мы проверили hive.default.fileformat, hive.default.fileformat.managed в конфигах улья, и оно уже ИЛИ C
  3. После изменения этих значений и перезапуска служб ambari мы проверили hive-site. xml в каталоге conf spark и эти свойства отражены, 
 <property>
  <name>hive.default.fileformat</name>
  <value>orc</value>
 </property>
проверено при запуске spark- sql в командной строке, и на консоли четко указано, что он загружает файл

20/02/11 13:40:50 INFO SharedState: загрузка файла конфигурации куста: file: /etc/spark2/conf/hive-site.xml

Я не уверен, чего здесь не хватает. Мне интересно, почему искра не забирает собственность, установленную на сайте улья. xml.

...