инкрементное задание sqoop не выполняется из-за исключения org.kitesdk.data.DatasetOperationException - PullRequest
Новая
       38

инкрементное задание sqoop не выполняется из-за исключения org.kitesdk.data.DatasetOperationException

0 голосов
/ 27 марта 2019

Я пытаюсь импортировать данные из оракула в таблицу улья, используя инкрементное задание sqoop, используя формат файла паркета. Но работа не выполняется из-за ошибки ниже

Ошибка: org.kitesdk.data.DatasetOperationException: не удалось добавить {"CLG_ID": "5", ..... 19.0327 00:37:06 ИНФОРМАЦИЯ mapreduce.Job: идентификатор задачи: попытки_15088_130_m_000_2, статус: НЕ УДАЛЕН

Запрос на создание сохраненного задания:

sqoop job -Dhadoop.security.credential.provider.path = jceks: // xxxxx --create job1 - импорт --connect "jdbc: oracle: thinxxxxxx" --verbose --username user1 --password-alias alisas --query "выбрать CLG_ID, .... из CLG_TBL, где \ $ CONDITIONS" - как-паркетный файл append --check-column CLG_TS --target-dir / hdfs / clg_data / -m 1

запрос на импорт:

sqoop job -Dhadoop.security.credential.provider.path = jceks: / xxxxx --exec job1 - --connect "jdbc: oracle: xxx" --username user1 --password-alias alisas --query "выбрать CLG_ID, .... из CLG_TBL, где \ $ CONDITIONS" --target-dir / hdfs / clg_data / -m 1 --hive-import --hive-database clg_db --hive-table clg_table --as-parquetfile

1 Ответ

0 голосов
/ 12 апреля 2019

Эта ошибка - известная проблема. Мы столкнулись с той же проблемой пару недель назад и нашел это.

Вот ссылка .

Описание проблемы или поведения

В HDP 3 управляемые таблицы Hive должны быть транзакционными (hive.strict.managed.tables = true). Транзакционные таблицы в формате Parquet не поддерживаются Hive. Для импорта кустов с помощью --as-parquetfile необходимо использовать внешние таблицы, указав --external-table-dir.

Связанное сообщение об ошибке

Таблица db.table не прошла строгую проверку управляемой таблицы из-за следующая причина: таблица помечена как управляемая, но не транзакционный. Обход

При использовании - hive-import с - as-parquetfile пользователи также должны предоставить - external-table-dir с полным описанием расположение стола:

sqoop import ... --hive-import --as-parquetfile --external-table-dir hdfs: /// path / to / table

...