Как перечислить все базы данных, используя HiveContext в PySpark 1.6

Question

Я пытаюсь перечислить все базы данных, используя HiveContext в Spark 1.6, но он предоставляет мне базу данных по умолчанию.

from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext.getOrCreate()
from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)
sqlContext.sql("SHOW DATABASES").show()

+-------------+
|       result|
+-------------+
|      default|
+-------------+

Answer 1

Вызов SHOW DATABASES в sql - правильный подход в Spark <2.0. </p>

В Spark 2.0 или более поздней версии вы должны использовать pyspark.sql.catalog.Catalog.listDatabases:

spark.catalog.listDatabases()

Если вы не видите ожидаемые базы данных, это обычно означает одно из двух:

• hive-site.xml отсутствует в пути к классам Spark (см. Пользовательская конфигурация Hadoop / Hive в Руководстве по настройке Spark ).
• Вы инициализировали Spark без поддержки Hive (то есть, используя SQLContext вместо HiveContext в случае 1.6).