В моей работе pyspark я пытаюсь создать временную таблицу, используя предложение LIKE, как показано ниже.
CREATE EXTERNAL TABLE IF NOT EXISTS stg.new_table_name LIKE stg.exiting_table_name LOCATION s3://s3-bucket/warehouse/stg/existing_table_name
Моя работа не выполняется, как показано ниже -
несоответствующий ввод 'LIKE', ожидающий (строка 1, позиция 56) \ n \ n == SQL
== \ nCREATE EXTERNAL TABLE, ЕСЛИ НЕ СУЩЕСТВУЕТ stg.new_table_name LIKE
stg.exiting_table_name LOCATION
s3: // s3-ковш / склад / STG / existing_table_name
Не поддерживает ли предложение LIKE
предложение для создания новой таблицы с использованием метаданных существующей таблицы?
Мой конфиг свечей:
self.session = SparkSession \
.builder \
.appName(self.app_name) \
.config("spark.dynamicAllocation.enabled", "false") \
.config("hive.exec.dynamic.partition.mode", "nonstrict") \
.config("mapreduce.fileoutputcommitter.algorithm.version", "2") \
.config("hive.load.dynamic.partitions.thread", "10") \
.config("hive.mv.files.thread", "30") \
.config("fs.trash.interval", "0") \
.enableHiveSupport()