Где хранятся метаданные каталога Spark?

Question

Пытался получить точное представление о том, как API-интерфейс каталога Spark хранит метаданные.

Я нашел некоторые ресурсы, но ответа не получил:

• https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-Catalog.html
• https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-CatalogImpl.html
• https://spark.apache.org/docs/2.3.0/api/java/org/apache/spark/sql/catalog/Catalog.html

Я вижу некоторые учебники, которые считают само собой разумеющимся существование Hive Metastore.

• Is HiveВозможно, Metastore включен в дистрибутив Spark?
• Кластер Spark может быть недолговечным, но метасторье Hive, очевидно, потребуется долгоживущий

Помимо функции каталога, разбиения и сортировкифункции при написании DF, похоже, зависят от Hive ... Таким образом, «все» воспринимают Hive как должное, когда говорят о ключевых особенностях Spark для сохранения DF.

Answer 1

Spark узнает о Hive MetaStore, когда ему предоставляется hive-site.xml, который обычно находится под $SPARK_HOME/conf.Всякий раз, когда при создании SparkSession используется метод enableHiveSupport(), Spark находит, где и как подключиться к метастаферу Hive.Поэтому Spark явно не сохраняет настройки улья.