Запустите Impala Refresh из Hive или Webhdfs

Question

Я работаю с некоторыми таблицами на Imapala и запрашиваю это, используя драйвер jdbc HIVE. Мне нужно запустить Refresh для некоторых таблиц перед извлечением данных (или настроить Impala для автоматического запуска). Когда я пытаюсь запустить refresh tablename драйвером jdbc, я не могу (потому что в HIVE этой команды не существует - я думаю). Я попытался написать простой сценарий оболочки-импала (refresh tablename) и запустить с использованием curl, как этот curl -i -L "http://<server>:50070/webhdfs/v1/<path to sh file>?op=OPEN", он тоже не работает. Кто-нибудь может мне помочь? Спасибо!

Answer 1

@ Andisu: если вы хотите обновить через Impala-Shell , выполните следующую команду:

impala-shell -d db_NAME -q "REFRESH tablename"; 

-q: интерпретатор оболочки-импала немедленно завершает работу после обработки оператора в двойных кавычках. Если вы выполните REFRESH , это означает, что вы добавили new data files в расположение таблицы HDFS, поэтому метаданные местоположения блоков этих файлов должны быть загружены в Impala Daemon Coordinator,

Answer 2

Пожалуйста, попробуйте

INVALIDATE METADATA databsename.tablename