Sqoop import не работает с паркетом из ульев - PullRequest
Новая
       79

Sqoop import не работает с паркетом из ульев

0 голосов
/ 30 октября 2019

Изменение захвата данных в Sqoop-Hive Import

Я пытаюсь сделать изменение данных, используя Sqoop, но когда я пишу -as-parquet, моя команда импорта Sqoop падает. Но после удаления -as-parquet из моей команды Sqoop, он работает и помещает данные в текстовом формате в таблицу кустов, но хочет, чтобы они были в таблице кустов паркета.

Я хочу выполнить операцию обновления из моих данных.

1 Ответ

0 голосов
/ 31 октября 2019

Я написал эту команду ниже:

Sqoop import --connect "myoracleconntiondetails" --username myuser --password mypasswd --query 'select * from test_table где $ CONDITIONS' --hive_import --hive-database test_dase --hive-таблица test_dase.test_table --null-steing 'NULL' --null-non-string '-99999' --target-dir mydir / полный путь --split-by mycol --increamental append --merge-ключ мог -as-parquet -m -10

Для этой вышеупомянутой команды я получаю ошибку ниже:

Получено исключение при запуске sqoop: org.kitesdk.data.validationException: Имя набора данныхtest_dase.test_table не является буквенно-цифровым (плюс '_') Org.kitesdk.data.validation: имя набора данных test_dase.test_table не является буквенно-цифровым (плюс '_')

...