ОШИБКА: NotImplementedException: сканирование таблицы в формате 'TEXT' не поддерживается, поскольку в таблице есть столбец со сложным типом 'ARRAY <STRING>'

Question

Я новый с технологиями BigData. Я создал одну таблицу с массивом типов данных столбцов.

CREATE TABLE movies (
    movie_id int, 
    title string, 
    genres ARRAY<STRING>
) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ':' 
COLLECTION ITEMS TERMINATED BY '|' 
MAP KEYS TERMINATED BY '#' 
LINES TERMINATED BY '\n';

и загрузил некоторые данные в таблицу. Сейчас я выполняю запрос на выборку, и в Impala он показывает ошибку ниже.

SELECT COUNT(*) AS total_movies FROM movies;

ERROR: NotImplementedException: Scan of table 'assignment_hive_impala.movies' in format 'TEXT' is not supported because the table has a column 'genres' with a complex type 'ARRAY<STRING>'.
Complex types are supported for these file formats: PARQUET.

Я не уверен, почему он показывает эту ошибку. Может кто-нибудь объяснить, пожалуйста, за ошибку и помочь мне решить ее?

Спасибо

Answer 1

Похоже, вы загружаете (или ваш исходный файл / данные) данные из текстового файла. Как отмечалось по ошибке, вы не можете использовать текстовые файлы со сложными типами.

Если вам действительно нужно протестировать со сложным типом, преобразуйте свои исходные данные в паркет и загрузите данные

Вы можете следовать этому ссылка для преобразования файла (здесь это csv) в паркет.