Возможна ли интеграция Hive и Impala? - PullRequest
0 голосов
/ 17 декабря 2018

Возможна ли интеграция Hive и Impala?

После обработки данных в улье я хочу сохранить результаты результатов в impala для лучшего чтения, возможно ли это?

Если да, можноПожалуйста, поделитесь одним примером.

Ответы [ 3 ]

0 голосов
/ 17 декабря 2018

Импала использует метастроение HIVE для чтения данных.Если у вас есть таблица, созданная в улье, вы можете прочитать и запросить то же самое с помощью Impala.Все, что вам нужно, это обновить таблицу или вызвать INPLIDATE METADATA в Impala для чтения данных.

Надеюсь, это поможет:)

0 голосов
/ 17 декабря 2018

Hive и impala - это два разных механизма запросов.Каждый механизм запросов уникален как с точки зрения архитектуры, так и производительности.Мы можем использовать Hive metastore для получения метаданных и выполнения запросов с использованием Impala.Обычный пример использования - подключение импалы / улья из таблицы.Если мы визуализируем улей из таблицы, мы можем получить самые последние данные без какой-либо обработки.Если мы будем продолжать загружать данные постоянно, метаданные также будут обновляться.Импала не знает об этих изменениях.Таким образом, мы должны выполнить запрос аннулирования метаданных, подключив impalad, чтобы обновить его состояние и синхронизировать с последней информацией, доступной в metastore.Таким образом, этот пользователь получит те же результаты, что и куст, когда запустит тот же запрос из таблицы, используя механизм impala.

Сейчас нет доступных параметров конфигурации для периодического выполнения этого запроса на аннулирование.Этот блог хорошо читает, чтобы периодически выполнять запрос на аннулирование метаданных через планировщик oozie для решения таких проблем, или просто мы можем установить cronjob с самого сервера.

0 голосов
/ 17 декабря 2018

Улей и импала, не храните никаких данных.Данные хранятся в папке HDFS, и кусты оба используются только для визуализации / преобразования данных, присутствующих в HDFS.

Так что да, вы можете обработать данные, используя куст, а затем прочитать их, используя импалу,учитывая, что оба они были настроены правильно.Но поскольку импала нуждается в обновлении, вам нужно запустить недействительные метаданные и обновить команды

...