у улья есть своя собственная программа уменьшения карты? - PullRequest
1 голос
/ 26 мая 2011

Я хочу внедрить программу Hive + Hadoop Map Reduction в моем приложении, Мне все еще интересно, потому что я много раз пробовал насчет запроса и поиска информации о программе уменьшения карты в улье.

мой вопрос, у улья есть своя собственная программа уменьшения карты? потому что, когда я пытаюсь немного сложный запрос, журнал выглядит так:

Job running in-process (local Hadoop)
2011-05-26 14:10:02,004 null map = 100%,  reduce = 100%
Ended Job = job_local_0001

в этом запросе есть процесс уменьшения карты, и затем, если я попытаюсь отсканировать часть программы уменьшения карт, реализованной в улье, у нас также есть альтернатива для создания нашей программы уменьшения карт.

По моему мнению, мы можем использовать куст для обработки данных (большие запросы) (я не знаю, правильно или неправильно? Пожалуйста, исправьте меня) мы можем создать нашу программу уменьшения карт для реализации в улье для специальной задачи (это правда?)

есть какое-нибудь объяснение по этому поводу?

спасибо за все ваше объяснение и внимание, и извините за мой плохой английский .. спасибо ..: D

1 Ответ

2 голосов
/ 26 мая 2011

Нет, он использует MapReduce Hadoop.Но он использует MapReduce для агрегирования данных, необходимых для вашего запроса.Поэтому, если вы искали каждое значение, например, конкретный ключ, Hive запустит задание MapReduce для вашего ввода, чтобы получить данные для вас.

В основном HIVE использует mapreduce и преобразует язык SQL-Like в задания MapReduce.

...