Как запросить hdfs из искрового кластера (2.1), который работает на kubernetes?

Question

Я пытался получить доступ к файлам HDFS из искрового кластера, который работает внутри контейнеров Kubernetes.

Однако я продолжаю получать сообщение об ошибке: AnalysisException: «Источник данных ORC должен использоваться с включенной поддержкой Hive;»

Чего мне здесь не хватает?

Answer 1

У вас есть SparkSession, созданный с помощью enableHiveSupport ()?

Аналогичная проблема: Spark может получить доступ к таблице Hive из pyspark, но не из spark-submit