ошибка импорта в sqoop таблицы улья - PullRequest
Новая
       7

ошибка импорта в sqoop таблицы улья

0 голосов
/ 27 апреля 2018

Здравствуйте, я пытаюсь вставить таблицу as400 в таблицу кустов, поэтому я создаю таблицу кустов с той же схемой таблицы as400, но добавляю обработанные столбцы (отметка времени) это мой стол улей: 

CREATE external TABLE IF NOT EXISTS default.AS400TEST (
One INT,
Two STRING,
..
N   INT             
)
PARTITIONED BY (processedate TIMESTAMP)
STORED AS  TEXTFILE 
location  '/tmp/AS400TEST;

Я запускаю команду sqoop: 

sqoop import --verbose --driver $DRIVER_CLASS --connect $URL --username $LOGIN --password $PASSWORD \
--table $TABLE \
--target-dir $DIR \
-m 1 --hive-import --hive-table default.AS400TEST \
--hive-partition-key "processedate"

Моя проблема в том, что карта остается на 0% более 30 минут, и я убиваю задание. мне нужно что-то изменить?

Еще один вопрос: как вставить метку времени столбца с помощью sqoop?

1 Ответ

0 голосов
/ 27 апреля 2018

Ваша таблица, вероятно, большая, и один картограф (-m 1) не может выполнить задачу в течение разумного времени. Попробуйте увеличить этот параметр (см. Подробности в документации ).

Чтобы вставить столбец отметки времени, используйте --map-column-hive 'timestamp_column_name=TIMESTAMP'.

...