Должны ли файлы ORC, указанные в таблице Hive (типа orc), содержать все атрибуты в таблице Hive?

Question

У меня есть таблица улья, которая указывает путь s3 (s3: /// table / data /), который содержит несколько файлов орков.У меня есть задание, которое записывает файлы с префиксом выше, но порядок атрибутов не гарантируется (среди файлов), и не все атрибуты заполнены, т. Е. Некоторые файлы могут иметь только подмножество данных.

Итак, можнотаблица кустов сопоставляет данные столбца с соответствующими именами столбцов и возвращает соответствующие значения для каждого столбца для запроса?

Answer 1

Нет в случае Таблица ORC просто считывает данные на основе порядка столбцов в таблице.

Если порядок атрибутов не гарантированы, тогда hive orc table читает данные в соответствии со схемой таблицы, если тип данных совпадает, тогда отображает значение (или) преобразует значение в этот тип (или) null .

Возможно, вам нужно Создать таблицу AVRO , тогда на основе таблицы схемы avro будет указано правильное значение.