Использование JsonSerDe в скрипте улья в кластере hdinsight по требованию

Question

Я написал скрипт куста, который отлично работает в существующем кластере HDInsight. Но когда я создаю экземпляр сценария через фабрику данных Azure в кластере по требованию, я получаю следующую ошибку:

Caused by: java.lang.ClassNotFoundException: Class org.apache.hive.hcatalog.data.JsonSerDe not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2214)
at org.apache.hadoop.hive.ql.plan.PartitionDesc.getDeserializer(PartitionDesc.java:143)
at org.apache.hadoop.hive.ql.exec.MapOperator.getConvertedOI(MapOperator.java:316)
... 19 more

Я использую JsonSerDe для загрузки данных из файла JSON в таблицу кустов , В моем существующем кластере класс присутствует без какой-либо дополнительной настройки. Необходимо ли явно указывать JAR-файл JsonSerDe для кластера по требованию, и если да, то как это возможно?

Answer 1

Вы получите это сообщение об ошибке, если вам не хватает файла Jar.

Вы можете добавить файл Jar в операцию Hive ADF, как показано.

Go к операции => Путь к файлу => Просмотреть локальный файл и добавить файл Jar.