Apache Hive Vs Normal Map Reduce

Question

У меня был странный опыт при выполнении запроса улья (простое количество записей во внешней таблице) наряду с уменьшением карты нормалей (программа подсчета слов). Мое сокращение количества слов было начато первым, запрос улья начался вторым. Hive запрос был немного быстрым, и мое первое сокращение карты застряло. Есть ли какой-нибудь случай, когда карта Улья уменьшает блоки, все другие карты уменьшают бег вдоль стороны?

Прошу вас добавить свои мнения по этому вопросу.

Answer 1

Порядок выполнения заданий зависит от количества отображаемых и уменьшаемых заданий, запрашиваемых заданием, а также от конфигурации планировщика кластера.

Если задание запрашивает количество задач сокращения, которое больше, чем у кластера, другие задания вынуждены ждать, пока задача редуктора завершится. Затем планировщик может назначить свободный интервал сокращения ожидающему заданию (опять же, в зависимости от конфигурации планировщика).

Answer 2

Я предполагаю, что это не всегда так. Hive не блокирует никакие другие задания в кластере. Нагрузка кластера и задержка сети могут повлиять на то, какое задание завершается первым. Если вы пытаетесь сравнить два задания, чтобы выяснить, какое из них быстрее, отправьте их одновременно и запустите тест как минимум 5-10 раз и учитывайте среднее время.