Как зарегистрировать TempTable в SparkSQL

Question

Spark версия: 2.2.0.cloudera2

Обычно мы регистрируем временную таблицу следующим образом:

dataframe.registerTempTable($table_name)

Но если я хочу создать таблицу в выражении SQL, например:

CREATE TABLE test_table from select * from table1

Spark создаст постоянную таблицу. Есть ли способ создать временную таблицу в операторе SparkSQL?

Answer 1

Вам необходимо добавить ключевое слово TEMPORARY в инструкцию SQL, которая ограничивала бы запись записей в хранилище мета-данных для этой конкретной таблицы.

CREATE TEMPORARY TABLE test_table from select * from table1

См .: https://docs.databricks.com/spark/latest/spark-sql/language-manual/create-table.html