Запросы Hive в кластере Spark

Question

Мне нужно понять, как будет выполняться запрос улья в кластере Spark.Он будет работать как задание Mapreduce, выполняющееся в памяти, или будет использовать архитектуру spark для выполнения запросов улья.Просьба уточнить.

Answer 1

Предполагается, что у вас есть кластер Hadoop с настроенными YARN и Spark;

Механизм исполнения улья управляется свойством hive.execution.engine.Согласно документам это может быть mr (по умолчанию), tez или spark.

Answer 2

Если вы выполняете запросы улья в улье или beeline, он будет использовать Map-Reduce, но если вы запустите запросы улья в режиме искровой REPL или запрограммируете, запросы просто преобразуются в кадры данных и создают логический и физический план, такой же, как фрейм данных ивыполняет.Следовательно, будет использовать всю силу искры.