обновление метаданных улья / импалы

Question

Обновляет ли команда таблицы REFRESH метаданные в impala при изменении расположения раздела в кусте?

Обновляет ли команда таблицы REFRESH метаданные в impala при изменении расположения раздела в кусте?

Я изменяю расположение раздела таблицы кустов с помощью

ALTER TABLE db.table partition(key=value1, key2=value2) set location='path'.

После этого я запускаю Refresh db.table в impala, которая не обновляет метаданные. Если я запускаю метаданные Invaldiate, это работает.

Answer 1

Убедитесь, что вы выполняете восстановление msck после загрузки в экземпляр раздела Hive.

После этого вы можете сделать недействительными метаданные для БД, в которой находится таблица, в оболочке Impala / пользовательском интерфейсе

Answer 2

Для этого есть Impala JIRA-4364 . Тем не менее, в 2017 году продукт находится в резерве продукта, поэтому в настоящее время INVALIDATE METADATA является единственным обходным решением.