Как определить номер карты и редуктора для запроса в улье - PullRequest
0 голосов
/ 29 декабря 2018

Я новичок в улье и проверяю план выполнения (объяснение) для сложного запроса, который имеет подзапрос, объединяет несколько таблиц и row_number с агрегатными функциями.Попытка выяснить выделение карты уменьшает задачу для запроса.Поэтому у меня есть несколько вопросов 1. Распределение задачи Map-Reduce зависит от размера таблицы / количества объединений?2. Каждый раз я получу одинаковое количество карт и уменьшу?3. Пожалуйста, дайте мне знать логику распределения карт в запросах.

1 Ответ

0 голосов
/ 29 декабря 2018

Итак, входное разбиение - это логическая сущность, а Блок - это физическая сущность.Допустим, вы извлекаете данные из HDFS, клиент Map Reduce вычисляет проверки, находится ли вся запись в одном и том же блоке, если какая-то ее часть присутствует в другом блоке, разделение на входе захватывает информацию о местоположении и смещение байта следующегоЗаблокируйте, чтобы завершить запись.Обычно это происходит в многострочной записи, разделение входов настраивается так же, как размер блока.Один входной сплит представляет размер данных, которые будут помещены в один маппер.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...