Получение ошибки при экспорте Sqoop, как я могу узнать точную ошибку? - PullRequest
Новая
       18

Получение ошибки при экспорте Sqoop, как я могу узнать точную ошибку?

0 голосов
/ 10 ноября 2018

Во время экспорта sqoop: 

sqoop export --connect jdbc:mysql://ip-172-31-20-247/dbname --username uname --password pwd --table orders --export-dir /orders.txt

Я получаю следующую ошибку: 

18/11/10 16:18:52 INFO mapreduce.Job:  map 0% reduce 0%
18/11/10 16:19:00 INFO mapreduce.Job:  map 100% reduce 0%
18/11/10 16:19:01 INFO mapreduce.Job: Job job_1537636876515_6580 failed with state FAILED due to: Task failed task_1537636876515_6580_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0
18/11/10 16:19:01 INFO mapreduce.Job: Counters: 12
        Job Counters 
                Failed map tasks=1
                Killed map tasks=3
                Launched map tasks=4
                Data-local map tasks=4
                Total time spent by all maps in occupied slots (ms)=61530
                Total time spent by all reduces in occupied slots (ms)=0
                Total time spent by all map tasks (ms)=20510
                Total vcore-milliseconds taken by all map tasks=20510
                Total megabyte-milliseconds taken by all map tasks=31503360
        Map-Reduce Framework
                CPU time spent (ms)=0
                Physical memory (bytes) snapshot=0
                Virtual memory (bytes) snapshot=0
18/11/10 16:19:01 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead
18/11/10 16:19:01 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 17.1712 seconds (0 bytes/sec)
18/11/10 16:19:01 INFO mapreduce.ExportJobBase: Exported 0 records.
18/11/10 16:19:01 ERROR mapreduce.ExportJobBase: Export job failed!
18/11/10 16:19:01 ERROR tool.ExportTool: Error during export: Export job failed!

Как определить точную ошибку?

1 Ответ

0 голосов
/ 06 декабря 2018

Не уверен, что происходит с вашим заданием на экспорт sqoop, не глядя на данные файла и другие детали. Я надеюсь, что вы используете правильный разделитель, а структура вашего файла и структура таблицы синхронизированы.

Не могли бы вы попробовать ниже скрипт экспорта sqoop с вашими параметрами. Здесь у меня есть данные sqoop из файла hdfs на сервер sql. 

sqoop export \
--connect "jdbc:sqlserver://servername:1433;databaseName=EMP;" \
--connection-manager org.apache.sqoop.manager.SQLServerManager \
--username userid \
-P \
--table sql_server_table_name \
--input-fields-terminated-by '|' \
--export-dir /hdfs path location of file/part-m-00000 \
--num-mappers 1 \

Дайте мне знать, если это работает для вас. Я протестировал его пару раз, и он работает нормально, без проблем. мои данные разделены символом '|' поэтому я выбрал поля ввода, оканчивающиеся на '|'. Вы можете выбрать в зависимости от ваших данных на hdfs.

...