Бесполезно ли определять разделитель в таблице ORC улья? - PullRequest
0 голосов
/ 20 декабря 2018

Когда вы создаете таблицу ORC в кусте, вы меняете тип файла на orc.Это означает, что вы не можете посмотреть конкретный файл за пределами таблицы orc.

Вот пример оператора orc create table

CREATE TABLE IF NOT EXISTS table_orc_v1
(
col1 int,
col2 int
)
PARTITIONED BY (odate date)
CLUSTERED BY (col1) INTO 10 BUCKETS
STORED AS ORC TBLPROPERTIES('transactional'='true');

Если я попытаюсь сделать это таблицей csv (например,вы делаете это для неоркской таблицы) *

1) не повлияет на производительность таблицы 2) снизит производительность, поскольку она преобразует файлы в csv-файлы, которые вы никогда не сможете прочитать 3) даст мне некоторое преимущество, что я 'я не в курсе 4) сделать что-то еще

ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','

1 Ответ

0 голосов
/ 20 декабря 2018

если вы используете какой-либо двоичный формат (ORC, AVRO, Parquet) для хранения ваших данных, тогда ROW FORMAT DELIMITED FIELDS TERMINATED BY просто игнорируется, вы можете использовать его в синтаксисе таблицы, он может не выдать ошибку.Однако они не используются

...