Используется ли Apache Hive больше для языка программирования или для аспектов хранилища данных?

Question

Раньше я думал, что Hive - это просто SQL-подобный язык программирования, используемый для облегчения написания заданий типа MapReduce (то есть SQL-подобная версия Pig / Pig Latin). Однако сейчас я читаю об этом больше, и, по-видимому, это фактически полная инфраструктура хранилища данных.

Является ли один из этих вариантов использования более распространенным? То есть он в основном используется для инфраструктуры хранилища данных, которую он предоставляет, или больше для интерфейса, подобного SQL? Или оба аспекта одинаково полезны и важны?

(Я спрашиваю, потому что я пытаюсь выяснить, на каких частях Улья я должен сосредоточиться на изучении.)

Answer 1

Я тоже так думал.Теперь, когда у меня был опыт работы с Hive в течение месяца, я обнаружил, что это отличный инструмент ETL ... для хранилища данных в дальнейшем.

Hive не сравнивается с MDX.Hive основывается на строках и не допускает большого количества сложных операций, которыми владеют SQL или MDX (язык многомерных выражений, распространенный в инструментах BI).

Мы используем Hive в качестве инструмента ETL для интеграции наших различных источников данных в виде плоских файлов и сокращения объема данных, которые нам необходимо загрузить в хранилище данных на основе SQL.

Если эти данныеПериод полувыведения составляет всего пару недель, поэтому мы можем сохранять размер нашей базы данных относительно управляемым и всегда иметь возможность воспроизводить отчеты позже из Hive.

Answer 2

Hive не поддерживает обновления.В нашей реализации мы использовали прямые задания MapReduce для заполнения хранилища данных и Hive для экспорта для дальнейшей обработки или импорта в реляционные хранилища данных.Мы также использовали его в качестве посредника для инструмента отчетности BI.