Как настроить базу метаданных для Spark SQL?

Question

Hive может иметь свои метаданные и хранить там таблицы, столбцы, информацию о разделах.Если я не хочу использовать улей. Мы можем создать метаданные для spark так же, как и улей.Я хочу запросить искровой SQL (не используя фрейм данных), например Hive (выберите, откуда и где). Можем ли мы это сделать?если да, то какую реляционную БД мы можем использовать для хранения метаданных?

Answer 1

Можем ли мы создать метаданные для spark так же, как hive.

Spark сделает это за вас, и вам не нужно использовать отдельную установку Hive или даже ее часть(например, метасторское хранилище Hive).

Независимо от того, какую установку Apache Spark вы используете, Spark SQL использует внутреннее метасторье Hive для той же цели, что и Hive (но теперь метасторное хранилище является частью Spark SQL).

если да, какую реляционную БД мы можем использовать для хранения метаданных?

Все, что поддерживает Hive, например Oracle, MySQL, PostgreSQL.Конфигурация почти такая же, как и в случае отдельной установки Hive (что обычно имеет место в таких корпоративных установках).

Возможно, вы захотите прочитать Hive Metastore .

Answer 2

Spark - это распределенная вычислительная система, а не распределенное хранилище.Поэтому мы в основном используем Spark для выполнения вычислительной работы, для которой нужны метаданные из другого хранилища.

Однако Spark внутренне предоставляет InMemoryCatalog для хранения метаданных, если он не сконфигурирован с Hive.

Вы можете взглянуть на this для получения дополнительной информации.