Я запускаю простую программу Pyspark по этой ссылке - https://spark.apache.org/docs/2.2.0/sql-programming-guide.html Я сталкиваюсь с проблемой, когда пытаюсь прочитать данные из глобального временного представления
sqlContext.sql("""select * from people""").show()
Hive history file=/tmp/sshuser/hive_job_log_sshuser_202004281336_882204804.txt
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/usr/hdp/current/spark2-client/python/pyspark/sql/context.py", line 353, in sql
return self.sparkSession.sql(sqlQuery)
File "/usr/hdp/current/spark2-client/python/pyspark/sql/session.py", line 716, in sql
return DataFrame(self._jsparkSession.sql(sqlQuery), self._wrapped)
File "/usr/hdp/current/spark2-client/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
File "/usr/hdp/current/spark2-client/python/pyspark/sql/utils.py", line 69, in deco
raise AnalysisException(s.split(': ', 1)[1], stackTrace)
pyspark.sql.utils.AnalysisException: u'java.lang.NoSuchMethodException: org.apache.hadoop.hive.conf.HiveConf.getTimeVar(org.apache.hadoop.hive.conf.HiveConf$ConfVars, java.util.concurrent.TimeUnit);'
Но он отлично работает, когда я читаю данные, используя операции с кадрами: 
Не уверен, что мне не хватает. Любая помощь приветствуется.