Ошибка при использовании Tez в качестве механизма выполнения Hive в Spark - PullRequest
0 голосов
/ 04 октября 2018

Я пытаюсь использовать Tez в качестве механизма исполнения Hive.Я загружаю файл данных паркета в таблицу Hive.Это мой код для настройки сеанса спарка

SparkSession session = SparkSession.builder().appName("ParquetReadWrite").
                config("hive.exec.dynamic.partition", "true").
                config("hive.exec.dynamic.partition.mode", "nonstrict").
                config("hive.execution.engine","spark").
                config("hive.exec.max.dynamic.partitions","400").
                config("hive.exec.max.dynamic.partitions.pernode","400").
                config("hive.enforce.bucketing","true").
                config("optimize.sort.dynamic.partitionining","true").
                config("hive.vectorized.execution.enabled","true").
                config("hive.enforce.sorting","true").
                enableHiveSupport()
                .master(args[0]).getOrCreate();

Когда я запускаю свой код для загрузки данных в куст, я получаю следующую ошибку:

java.lang.ClassNotFoundException: java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning when creating Hive client using classpath: <file path>

Какие банки у меня естьскопировать и в какое место?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...