Номер Mapper не может быть настроен в Sq oop Экспорт - PullRequest
Новая
       28

Номер Mapper не может быть настроен в Sq oop Экспорт

0 голосов
/ 16 января 2020

Кто-нибудь имел опыт использования пользовательского сопоставления в Sq oop Экспорт из таблицы Hive в SQLDatabase ранее?

Я использовал следующую команду sq oop с 33 сопоставителями для выполнения экспорта sq oop :

sq oop export -Dmapred.job.queue.name = имя проекта -Dsq oop .export.records.per.statement = 1000 --connect "jdb c: sqlserver : // svrname; database = dbname "--username 'usrname' --password 'pwd' --hcatalog-database hive_schema_name --hcatalog-table hive_obj_name --table 'SQL_DB_OBJ_NAME' - --schema SQL_DB_SCHEMA_NAME - заканчиваются поля -by $ '\ x01' -m 33 -batch

Но в результате я могу видеть только 4 картографа, использовавшихся из мастера приложений и требующих много времени для завершения из-за огромного количества данных , Поэтому мне интересно, может ли кто-нибудь помочь подтвердить, может ли пользовательский маппер использоваться в sq oop export

1 Ответ

1 голос
/ 16 января 2020

Sq oop export поддерживает количество картографических аргументов аргумент, но он будет проигнорирован в вашей команде. Вы должны переместить -- --schema <schema-name> в конец команды, поскольку Sq oop CLI имеет следующую структуру: 

sqoop TOOL PROPERTY_ARGS SQOOP_ARGS [-- EXTRA_ARGS]
...