Я использую Apache Hive 2.1.1-cdh6.2.1 (распределение Cloudera) с MR в качестве механизма выполнения и диспетчером ресурсов YARN с использованием планировщика Capacity.
Я бы хотел попробовать Spark в качестве движка для Hive. Просматривая документы , я обнаружил странное ограничение:
Вместо планировщика емкости требуется честный планировщик . Это справедливо распределяет равную долю ресурсов для заданий в кластере YARN.
При правильной настройке всех очередей это очень нежелательно для меня.
Можно ли запустить Hive on Spark с планировщиком YARN? Если нет, то почему?