Отбросьте пустые разделы Impala - PullRequest
0 голосов
/ 16 июня 2020

Разделы внешней таблицы Impala по-прежнему отображаются в статистике с количеством строк 0 после удаления данных в HDFS и изменения (например, ALTER TABLE table RECOVER PARTITIONS) обновления (REFRESH table) и аннулирования метаданных.

Попытка отбросить разделы один за другим работают, но есть десятки разделов, которые следует удалить, и это будет довольно утомительно. таблицу.

Есть ли какие-нибудь другие варианты в импале, чтобы это сделать?

1 Ответ

0 голосов
/ 16 июня 2020

Нашел обходной путь через HIVE.

Если ввести MSCK REPAIR TABLE tablename SYNC PARTITIONS и затем обновить таблицу в impala, пустые разделы исчезнут.

...