Как работает раздел Hive - PullRequest
Новая
       45

Как работает раздел Hive

0 голосов
/ 28 октября 2018

Предположим, что приведенная ниже таблица:

в качестве схемы: ID,NAME,Country и my partition key is country.

Если мой запрос выглядит так:

select * from table where id between 155555756 to 10000000000;

В этом случае раздел не будет работать, верно?,

На простом замечании. Что делать, если я не использую ключ раздела в своем запросе.Таким образом, будет полное сканирование таблицы, верно?

1 Ответ

0 голосов
/ 29 октября 2018

Ответ на ваш первый вопрос - да , этот план запроса не будет выполнять сокращение раздела.

Вы можете использовать следующий оператор, чтобы проверить, выполняет ли запрос сокращение раздела: explain dependency <your query>

Ответ на второй вопрос - зависит!

Если для hive.mapred.mode установлено значение strict, то куст не разрешитдля полного сканирования таблиц и нескольких других «рискованных» операций, таких как перекрестные объединения и т. д.,

В зависимости от используемой версии куста, эти настройки также влияют на число разделов, которыеможно сканировать одним запросом

  • hive.metastore.limit.partition.request (или)
  • hive.limit.query.max.table.partition
...