Как программно найти все расположения файлов внешней таблицы в Hive?

Question

У меня есть несколько внешних таблиц в Hive, и я хочу написать скрипт, который будет корректировать данные в них. Поскольку Hive является источником правды для файлов, которые он читает, я хочу получить от него местоположения разделов.

Существует ли удобный синтаксис для получения списка местоположений для всех разделов для внешней таблицы

Answer 1

Если у вас есть доступ к hive metastore, вы можете получить подробную информацию с помощью запроса в сценарии / программе:

Например, запрос в хранилище метаданных улья:

SELECT d.NAME, a.tbl_name, b.location, c.PART_NAME 
FROM dbs d 
inner join tbls a ON d.DB_ID = a.db_id 
inner JOIN sds b ON a.SD_ID = b.sd_id 
LEFT outer JOIN partitions c ON a.TBL_ID = c.tbl_id 
WHERE a.tbl_name = 'your_table_name' AND d.name = 'your_db_name'

Answer 2

Команда description сделает это:

DESCRIBE FORMATTED Db_name.table_name