pyspark dataframe выдает ошибку с show () - PullRequest
0 голосов
/ 25 сентября 2019

Я использую ноутбук Zeppelin с интерпретатором% livy.pyspark.Я выполняю SQL-запрос к таблице Hadoop Hive и хочу увидеть несколько строк в таблице.Я использую код ниже:

'''
%livy.pyspark
from pyspark.sql import HiveContext
sqlContext = HiveContext(sc)
df = sqlContext.sql("Select * from Orders")
df.printSchema()
df.show()
'''

Это показывает схему таблицы с df.printSchema ().Тем не менее, выдает следующую ошибку с df.show ()

'''An error occurred while calling showString.
: java.lang.RuntimeException: serious problem'''

Не могли бы вы помочь мне решить эту проблему?

1 Ответ

0 голосов
/ 25 сентября 2019

Это проблема с HIVE (https://issues.apache.org/jira/browse/HIVE-13120). Обходной путь должен быть установлен set hive.fetch.task.conversion=none

...