Чтение данных из Hive через Pyspark

Question

Я пытаюсь прочитать данные из таблицы Hive через Pyspark. Я успешно построил связь между Ульем и искрой. Я также могу видеть таблицы, присутствующие в базах данных, но когда я пытаюсь запросить таблицу, я получаю эту ошибку:

КОД: spark.sql("select count(*) from my_table").show(truncate = False)

Ошибка:

Py4JJavaError: Произошла ошибка при вызове o90.showString

Answer 1

Вы можете попробовать это решение, используя SQLContext():

from pyspark import SparkContext
from pyspark.sql import SQLContext

sc = SparkContext()
sqlC = SQLContext(sc)

sqlC.sql("select count(*) from my_table").show(truncate = False)

или попробуйте это с помощью HiveContext():

from pyspark import SparkContext
from pyspark.sql import HiveContext

sc = SparkContext()
hivctx = HiveContext(sc)

hivctx.sql("select count(*) from my_table").show(truncate = False)