Где создается таблица Spark, если поддержка Hive не включена?

Question

Где создается таблица, когда я использую синтаксис SQL для создания таблицы в Spark 2. *?

CREATE TABLE ... AS

Хранит ли Spark ее внутри где-то всегда должна быть поддержка Impala или Hive для таблиц Spark, чтобыработать?

Answer 1

По умолчанию (когда соединение не указано, например, в hive-site.xml).Spark сохранит его в локальном хранилище метаданных, которое находится на базе данных Derby.

И оно должно храниться в каталоге spark-warehouse в вашем каталоге Spark или в любом другом месте, определенном в spark.sql.warehouse.dir prop.