Исключение в sqoop при копировании данных из MySQL в HDFS - PullRequest
Новая
       3

Исключение в sqoop при копировании данных из MySQL в HDFS

1 голос
/ 23 апреля 2019

У нас установлен sqoop на одной из наших машин.Когда я запускаю команду sqoop из терминала, она работает нормально (с некоторыми ошибками / предупреждениями), и я могу импортировать данные из MySQL в HDFS.Вот команда / журналы для справки: 

sqoop import -D mapreduce.job.queuename="production.P2" --connect "jdbc:mysql://xxxx:0000/DB" --password "pass" --username "uu" --table temp_pet --target-dir "/home/hadoop/work"

Warning: /opt/ais/cloudera/parcels/CDH-5.13.2-1.cdh5.13.2.p0.3/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
ls: cannot access /opt/ais/cloudera/parcels/CDH-5.13.2-1.cdh5.13.2.p0.3/bin/../lib/sqoop/../hadoop/hadoop-core*.jar: No such file or directory
Error: Could not find or load main class org.apache.hadoop.util.PlatformName
Error: Could not find or load main class org.apache.hadoop.util.PlatformName
19/04/22 12:28:49 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.13.2
...
19/04/22 12:29:17 INFO mapreduce.ImportJobBase: Transferred 41 bytes in 23.5093 seconds (1.744 bytes/sec)
19/04/22 12:29:17 INFO mapreduce.ImportJobBase: Retrieved 1 records.

Однако, когда я написал задание scala и развернул jar (сборка через maven), я получаю следующую ошибку: 

java -jar GenericDataStoreTransfer-1.0-SNAPSHOT.jar
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/sqoop/Sqoop
at com.apple.Utility.GenericDataStoreTransfer.MySQLToHDFS$.main(MySQLToHDFS.scala:11)
at com.apple.Utility.GenericDataStoreTransfer.MySQLToHDFS.main(MySQLToHDFS.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.sqoop.Sqoop
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

Это мой соответствующий фрагмент пом 

<dependency>
  <groupId>org.apache.sqoop</groupId>
  <artifactId>sqoop</artifactId>
  <version>1.4.0-incubating</version>
</dependency>

<dependency>
  <groupId>org.apache.sqoop</groupId>
  <artifactId>sqoop</artifactId>
  <version>1.4.2-cdh4.2.1</version>
  <type>pom</type>
</dependency>

Дайте мне знать, если я что-то упустил.Любые указатели были бы полезны

...