почему это слишком медленно при вставке разделенной таблицы куста hdfs? - PullRequest
1 голос
/ 10 июля 2020

Я создал такую ​​таблицу: (без разбиения)

create external table `ersin_db`.`DW_ETL`
  (
  `ID` INT, 
  `NAME` STRING
  )  
    stored as parquet
    LOCATION '/user/ers/ersyn61/'
    tblproperties('parquet.compression'='SNAPPY');

когда я пытаюсь вставить, это быстро.

но когда я создаю разбитую таблицу следующим образом:

create external table `ersin_db`.`DW_ETL`
  (
  `ID` INT, 
  `NAME` STRING
  ) 
partitioned by(partition_etldate_string string )
    stored as parquet
    LOCATION '/user/ers/ersyn61/'
    tblproperties('parquet.compression'='SNAPPY');


SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.dynamic.partition=true;
set hive.optimize.sort.dynamic.partition=true;

вставка работает медленно?

Как мне быстрее?

заранее спасибо

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...