Как преобразовать файл последовательности в формат паркета - PullRequest
0 голосов
/ 10 октября 2019

У меня есть таблица HIVE (тест) , которую мне нужно создать в формате PARQUET . Я буду использовать кучу SEQUENCE файлов для создания и вставки в таблицу.

Как только таблица будет создана, есть ли способ конвертировать в PARQUET? Я имею в виду, я знаю, что мы могли бы сделать, скажем,

CREATE TABLE default.test( user_id STRING, location STRING) 
PARTITIONED BY ( dt INT ) STORED AS PARQUET

изначально при создании самой таблицы. Однако в моем случае я вынужден сначала использовать файлы SEQUENCE для создания таблицы, потому что это формат, с которого я должен начать и не могу напрямую преобразовать в PARQUET. Можно ли преобразовать паркет после создания таблицы и вставки данных?

1 Ответ

0 голосов
/ 10 октября 2019

Чтобы преобразовать файл последовательности форм в Parquet, вам нужно загрузить данные (CTAS) в новую таблицу.

Вопрос помечен presto, поэтому я даю вам Синтаксис Presto за это. Я включаю разделение, потому что пример в вопросе содержит это.

CREATE TABLE test_parquet WITH(format='PARQUET', partitioned_by=ARRAY['dt']) AS
SELECT * FROM test_sequencefile;
...