Как получить таблицу «Таблица статистики Hive» в Dataframe в Spark Scala

Question

Я работаю над проектом в Spark Scala. Могу ли я получить статистику таблицы таблицы Hive в Dataframe для дальнейших вычислений?

Я мог видеть информацию о таблице, используя

"showtable stats table_name "

Но могу ли я получить эту информацию в кадре данных.Спасибо

Answer 1

В spark2 вы можете импортировать данные таблицы улья во фреймы данных одним из следующих способов:

Method1:

val df = spark.sql("select * from databasename.tablename")

Method2:

val df = spark.read.table("databasename.tablename")

Answer 2

Я думаю, этого достаточно.

val df = spark.sql("show table stats table_name")

Но мой тест на статистику таблицы не сработал.Я использовал ANALYZE и DESCRIBE EXTENDED для теста.

spark.sql("analyze table table_name compute statistics")
val df = spark.sql("describe extended table_name")
df.show(false)

Это дает результат.