Hive Partitioned Table - попытка загрузить данные из одной таблицы в многораздельную таблицу в моем Hive и получение [Ошибка 10044] * - PullRequest
Новая
       130

Hive Partitioned Table - попытка загрузить данные из одной таблицы в многораздельную таблицу в моем Hive и получение [Ошибка 10044] *

1 голос
/ 10 июля 2020

Итак, у меня есть таблица с 20 столбцами, и я создал другую секционированную таблицу - используя 2 значения секций, теперь, когда я пытаюсь загрузить данные из моей таблицы с 20 столбцами в другие секционированные таблицы, я получаю сообщение об ошибке, говоря, что в моей секционированной таблице больше столбцы, чем таблица, я вставляю данные из

мой оператор создания таблицы: 

  create table flight_data_parquet(
  YEAR INT,
  FL_DATE STRING,
  UNIQUE_CARRIER STRING,
  AIRLINE_ID INT,
  CARRIER STRING,
  TAIL_NUM STRING,
  FL_NUM INT,
  ORIGIN_AIRPORT_ID INT,
  ORIGIN_AIRPORT_SEQ_ID INT,
  ORIGIN STRING,
  DEST_AIRPORT_ID INT,
  DEST_AIRPORT_SEQ_ID INT,
  DEST STRING,
  DEP_DELAY FLOAT,
  ARR_DELAY FLOAT,
  CANCELLED TINYINT,
  DIVERTED TINYINT,
  DISTANCE INT)
partitioned by (Month INT, DAY_OF_MONTH INT)stored AS PARQUET;

- оператор вставки : 

insert into table flight_data_parquet partition(month=1, day_of_month) 
select  YEAR,FL_DATE,
  UNIQUE_CARRIER,
  AIRLINE_ID,
  CARRIER,
  TAIL_NUM,
  FL_NUM,
  ORIGIN_AIRPORT_ID,
  ORIGIN_AIRPORT_SEQ_ID,
  ORIGIN,
  DEST_AIRPORT_ID,
  DEST_AIRPORT_SEQ_ID,
  DEST,
  DEP_DELAY,
  ARR_DELAY,
  CANCELLED,
  DIVERTED,
  DISTANCE, month, day_of_month
from flight_data_v2 where month=1;

ошибка я получаю - 

FAILED: SemanticException [Error 10044]: Line 1:18 Cannot insert into target table because column number/types are different 'day_of_month': Table insclause-0 has 19 columns, but query has 20 columns.
hive (flights)>

1 Ответ

1 голос
/ 10 июля 2020

month=1 в разделе спецификации раздела ( month = 1 , day_of_month) - это статический c раздел, и значение уже указано, удалите month из запроса выбора. Только day_of_month (динамический c раздел) должен быть в выборе: 

insert into table flight_data_parquet partition(month=1, day_of_month)  -- Month=1 is a static partition 
select  YEAR,FL_DATE,
  UNIQUE_CARRIER,
  AIRLINE_ID,
  CARRIER,
  TAIL_NUM,
  FL_NUM,
  ORIGIN_AIRPORT_ID,
  ORIGIN_AIRPORT_SEQ_ID,
  ORIGIN,
  DEST_AIRPORT_ID,
  DEST_AIRPORT_SEQ_ID,
  DEST,
  DEP_DELAY,
  ARR_DELAY,
  CANCELLED,
  DIVERTED,
  DISTANCE, day_of_month
from flight_data_v2 where month=1;
...