Шаги, чтобы добавить JSON serde для анализа файла JSON - PullRequest
Новая
       73

Шаги, чтобы добавить JSON serde для анализа файла JSON

0 голосов
/ 16 февраля 2019

Я пытаюсь создать таблицу JSON. Ниже приведены шаги, которые я выполнил.

Версия Hive - 2.1.1 Скачано **hive-contrib-2.1.1.jar** добавлен файл JAR в куст для одного сеанса.

При попытке создать таблицу кустов я получаю сообщение об ошибке ниже - 

hive>  ADD JAR /home/prjai/hive-contrib-2.1.1.jar;;
Added [/home/prjai/hive-contrib-2.1.1.jar] to class path
Added resources: [/home/prjai/hive-contrib-2.1.1.jar]
hive> CREATE external table TABLE5
    > (
    >     `col1` STRING,
    >     `col2` string,
    >     `col3` string,
    >     `col4` string
    > )
    > row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    > location '$location';
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde: org.apache.hive.hcatalog.data.JsonSerDe

Я проверил другой вопрос Не удалось проверить serde: org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe

[https://stackoverflow.com/questions/36709298/hive-throws-an-error-while-creating-table-cannot-validate-serde-com-cloudera-h]2

Но я не понимаю, какой serde использовать и каковы зависимости. Как отладить проблему, есть ли блог или сайткоторый предоставляет пошаговые инструкции по настройке JSON serde для обработки файлов JSON

...