sqoop-export - Задание не выполнено, поскольку задание не выполнено? - PullRequest
Новая
       10

sqoop-export - Задание не выполнено, поскольку задание не выполнено?

0 голосов
/ 13 февраля 2019
  1. Я попытался экспортировать таблицу кустов в таблицу MySQL, ниже приведена команда, которую я выполнил sqoop export --verbose --connect jdbc:mysql://mycomputer:3306/ml --username root --password root --table labeled_set_stats --hcatalog-table tmp_mysql_20190210 -m 1

  2. Я также попытался эту команду: sqoop export --verbose --connect jdbc:mysql://mycomputer:3306/ml --username root --password root --table labeled_set_stats --export-dir /user/hive/warehouse/export.db/tmp_mysql_20190210/000000_0 -fields-terminated-by ',' --lines-terminated-by '\n' -m 1

  3. Сообщение об ошибке для обеих вышеуказанных команд примерно одинаково: 

19/02/14 00:19:04 INFO mapreduce.Job: Job job_1550050866474_0033 failed with state FAILED due to: Task failed task_1550050866474_0033_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0

19/02/14 00:19:04 INFO mapreduce.Job: Counters: 8
        Job Counters 
                Failed map tasks=1
                Launched map tasks=1
                Data-local map tasks=1
                Total time spent by all maps in occupied slots (ms)=4297
                Total time spent by all reduces in occupied slots (ms)=0
                Total time spent by all map tasks (ms)=4297
                Total vcore-seconds taken by all map tasks=68752
                Total megabyte-seconds taken by all map tasks=4400128
19/02/14 00:19:04 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead
19/02/14 00:19:04 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 24.4535 seconds (0 bytes/sec)
19/02/14 00:19:04 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead
19/02/14 00:19:04 INFO mapreduce.ExportJobBase: Exported 0 records.
19/02/14 00:19:04 DEBUG util.ClassLoaderStack: Restoring classloader: sun.misc.Launcher$AppClassLoader@5f150435
19/02/14 00:19:04 ERROR tool.ExportTool: Error during export: Export job failed!
19/02/14 00:19:04 INFO hive.metastore: Closed a connection to metastore, current connections: 0
Досадно, что sqoop не дает достаточно информации о том, почему команда не выполнена.
...