Написать на S3 паркет с импалой

Question

Я хотел бы записать всю таблицу в s3a в формате паркета. Давайте назовем таблицу abc_schem.thattable. Я хотел бы использовать запрос Impala для SELECT * WHERE to_date (create_time) = 'ГГГГ-ММ-ДД'

Каков точный синтаксис для записи в Parquet S3?

Answer 1

CREATE TABLE schema.temp_c 
STORED AS PARQUET LOCATION "s3a://s3highlevel/c/lowlevel" AS 
SELECT * FROM schema.table 

Answer 2

Вы можете создать внешнюю таблицу в определенном месте и вставить в нее, если система s3 уже настроена

CREATE EXTERNAL TABLE abc_schem.thattable(
... 
) 
STORED AS PARQUET 
LOCATION 's3a://bucket/path';

Затем используйте некоторые команды LOAD DATA или INSERT INTO... SELECT... FROM для получения данных