Улей раздел метастор, как это работает? - PullRequest
Новая
       97

Улей раздел метастор, как это работает?

0 голосов
/ 07 мая 2018

У меня есть пара запросов, пожалуйста, помогите мне понять

  1. В Hive я вижу пару таблиц кустов, информация о разделах в кластере и в метастазах различна, в чем может быть причина?

использовал "hive> show partitions" в Hive и "SELECT * FROM PARTITIONS WHERE TBL_ID =;" в метасторе.

  1. Для некоторых таблиц кустов я вижу меньше информации о разделах в Cluster, но в metastore он показывает больше разделов. Для этого типа случая при выполнении запроса в таблицах кустов с использованием условия where для раздела выдается ошибка, что некоторые разделы отсутствуют.

Где, поскольку есть несколько таблиц улья, для которых в метастазах меньше информации о разделах по сравнению с кластером, и в этом случае запрос не выдает ошибку при выполнении запроса с использованием раздела в условии where.

1 Ответ

0 голосов
/ 07 мая 2018

Полагаю, вы используете Cloudera / Impala. Документация гласит: Если вы считаете, что объект существует, но вы не видите его в выходных данных SHOW, уточните у системного администратора, нужно ли вам предоставить новую привилегию для этого объекта. Таблица может занимать несколько разных каталогов HDFS, если она разбита на разделы. Каталоги могут быть сильно разбросаны, поскольку раздел может находиться в произвольном каталоге HDFS на основе его атрибута LOCATION.

Смотрите здесь: показать разделы

...