Последнее время доступа Обновление в Hive metastore - PullRequest
1 голос
/ 25 февраля 2020

Я использовал это свойство в файле hive console / .hiver c, и всякий раз, когда я запрашиваю таблицу, он обновляет столбец LAST_ACCESS_TIME в таблице TBLS метасторого куста, и я могу запросить это.

set hive.exe c .pre.hooks = org. apache .had oop .hive.ql.hooks.UpdateInputAccessTimeHook $ PreExec;

Однако, когда я использую Похоже, что spark- sql или spark-shell не работают, а отметка времени не обновляется в hive-metastore.

Просто запустив это -

df = spark. sql ("select * from db.sometable") df.show ()

Я установил вышеупомянутый хук в hive-site. xml в обоих местах установки / etc / hive / conf и / etc / spark / conf.

...