Как импортировать данные из таблицы hdfs во вложенную многораздельную таблицу в кусте?

Question

Я создал вложенную многораздельную таблицу в улье. Но я не знаю, как вставить данные в таблицу.

Я попытался вставить метод перезаписи таблицы.

В кусте

create external table accounts_nested(
first_name string, last_name string, zipcode string)
partitioned by (state string, areacode string) 
row format delimited 
fields terminated by ',' 
location '/loudacre/accounts_nested';

, а затем,

insert overwrite table accounts_nested(
partition(areacode)
select first_name, last_name, zipcode, state, areacode from accounts;

Я не вижу никакой ошибки на терминале, но я не вижу данных, которые я вставил.

Я хочу видеть данные в таблице accounts_nested.

Answer 1

Вы можете использовать динамическое разбиение, задав следующие параметры.

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

Далее приведен пример кода, который работает:

create table temp.accounts           (                                                                                                                                                                                     
first_name                  string
,last_name                  string
,zipcode                  string
)
partitioned by (areacode string)
stored as parquet location '/temp.db/accounts' tblproperties("parquet.compression=SNAPPY")
;

insert into temp.accounts partition(areacode='0') values
('David','David','00')
,('Ellen', 'Ellen','00')
,('David','David','00')
,('David', 'David','00');

create external table temp.accounts_nested           (                                                                                                                                                                                     
first_name                  string
,last_name                  string
,zipcode                  string
)
partitioned by (areacode string)
stored as parquet location '/temp.db/accounts_nested' tblproperties("parquet.compression=SNAPPY")
;

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table temp.accounts_nested 
partition(areacode)
select first_name, last_name, zipcode, areacode from temp.accounts;

Вывод:

select * from temp.accounts_nested;
+-----------------------------+----------------------------+--------------------------+---------------------------+--+
| accounts_nested.first_name  | accounts_nested.last_name  | accounts_nested.zipcode  | accounts_nested.areacode  |
+-----------------------------+----------------------------+--------------------------+---------------------------+--+
| David                       | David                      | 00                       | 0                         |
| Ellen                       | Ellen                      | 00                       | 0                         |
| David                       | David                      | 00                       | 0                         |
| David                       | David                      | 00                       | 0                         |
+-----------------------------+----------------------------+--------------------------+---------------------------+--+