О, отлично, поэтому вопрос в упомянутой вами теме на самом деле был задан мной давным-давно :) Было бы интересно посмотреть, как использовать это в вашем случае.
Но позвольте мне сказать,you Hive запускает задания Hadoop по мере необходимости в зависимости от вашего запроса.Итак, если вы хотите выполнить несколько запросов, что, я считаю, именно то, что вы хотите сделать здесь, вам нужно использовать планировщик заданий, который может запускать несколько заданий одновременно.Hadoop по умолчанию использует планировщик first-in-first-out (FIFO) , извлекая задания из рабочей очереди.Итак, хотелось бы переключиться на планировщик Fair или планировщик Capacity.
Основная идея планировщика долевого распределения заключалась в том, чтобы назначать ресурсы заданиям таким образом, чтобы в среднем с течением времени каждое задание получало равную долю доступных ресурсов.
Планировщик емкости разделяет некоторые принципы честного планировщика, но также имеет определенные различия.Во-первых, планирование емкости было определено для больших кластеров, которые могут иметь несколько независимых потребителей и целевых приложений. В планировании емкости вместо пулов создается несколько очередей, каждая из которых имеет настраиваемое количество карт и уменьшает количество интервалов.Каждой очереди также назначается гарантированная емкость (где общая емкость кластера является суммой емкости каждой очереди).Во-вторых, возможность приоритезировать задания в очереди.Наконец, это наличие строгого контроля доступа в очередях.