Ошибка при выполнении задания импорта s coop - PullRequest
0 голосов
/ 08 марта 2020

Я пытаюсь импортировать данные из базы данных MySQL в hdfs, используя s coop, и я получаю сообщение об ошибке «Нет столбцов для ClassWriter».

Вот мой s coop команда:

sqoop import --connect jdbc:mysql://xxxxx.xxxx.us-east-1.rds.amazonaws.com/xxxx --username xxxx --password xxxx --table xxxx --null-string 'NA' --null-non-string '\\N' --warehouse-dir /user/romeo/finalproject/cardMember

Вот стек ошибок:

20/03/08 16:11:27 ОШИБКА manager.SqlManager: Ошибка выполнения оператор: com. mysql .jdb c .exceptions.jdbc4.CommunicationsException: сбой линии связи

Последний пакет, успешно отправленный на сервер, был 0 миллисекунд в go. Драйвер не получил никаких пакетов с сервера. com. mysql .jdb c .exceptions.jdbc4.CommunicationsException: сбой линии связи

Последний пакет, успешно отправленный на сервер, был 0 миллисекунд в go. Драйвер не получил никаких пакетов с сервера. at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl. java: 57) в sun.reflect.DelegatingConstructorAccessorImpl * 10A .lang.reflect.Constructor.newInstance (Конструктор. java: 526) в com. mysql .jdb c .Util.handleNewInstance (Util. java: 411) в com. mysql .jdb c .SQLError.createCommunicationsException (SQLError. java: 1121) в com. mysql .jdb c .MysqlIO. (MysqlIO. java: 357) в com. mysql .jdb c. ConnectionImpl.coreConnect (ConnectionImpl. java: 2484) в com. mysql .jdb c .ConnectionImpl.connectOneTryOnly (ConnectionImpl. java: 2521) в com. mysql .jdb c .ConnectionImpl. createNewIO (ConnectionImpl. java: 2306) в com. mysql .jdb c .ConnectionImpl. (ConnectionImpl. java: 839) в com. mysql .jdb c .JDBC4Connection. (JDBC4Connection. java: 49) at sun.reflect.NativeConstructorAccessorImpl.newInstance0 (собственный метод) в sun.reflect.NativeConstructorAccessorImpl.newInstance (NativeConstructorAccessorImpl. java: 57) в sun.reflect.DelegatingConstructorAccessorImpl.newInstance (DelegatingConstructorAccessorImpl. java: 45) в * 1058nstructor. Constructor. 1059 *: 526) в com. mysql .jdb c .Util.handleNewInstance (Util. java: 411) в com. mysql .jdb c .ConnectionImpl.getInstance (ConnectionImpl. java : 421) в com. mysql .jdb c .NonRegisteringDriver.connect (NonRegisteringDriver. java: 350) в java. sql .DriverManager.getConnection (DriverManager. java: 571) в java. sql .DriverManager.getConnection (DriverManager. java: 215) в орг. apache .sq oop .manager.SqlManager.makeConnection (SqlManager. java: 903) в орг. apache .sq oop .manager.GenericJdbcManager.getConnection (GenericJdbcManager. java: 52) в org. apache .sq oop .manager.SqlManager.execute (SqlManager. java: 762) в org. apache .sq oop .manager.SqlManager.execute (SqlManager. java: 785) в орг. apache .sq oop .manager.Sql Manager.getColumnInfoForRawQuery (SqlManager. java: 288) в орг. apache .sq oop .manager.SqlManager.getColumnTypesForRawQuery (SqlManager. java: 259) в орг. apache .q. manager.SqlManager.getColumnTypes (SqlManager. java: 245) в орг. apache .sq oop .manager.ConnManager.getColumnTypes (ConnManager. java: 333) в орг. apache .sq oop .orm.ClassWriter.getColumnTypes (ClassWriter. java: 1858) в орг. apache .sq oop .orm.ClassWriter.generate (ClassWriter. java: 1657) в орг. apache .sq oop .tool.CodeGenTool.generateORM (CodeGenTool. java: 106) в орг. apache .sq oop .tool.ImportTool.importTable (ImportTool. java: 494) в орг. apache .sq oop .tool.ImportTool.run (ImportTool. java: 621) в орг. apache .sq oop .Sq oop .run (Sq oop. java: 147) в орг. apache .хад oop .util.ToolRunner.run (ToolRunner. java: 70) в орг. apache .sq oop .Sq oop .runSq oop (Sq oop. java: 183) в орг. apache .sq oop .Sq oop .runTool (Sq oop. java: 234) в орг. apache .sq oop .Sq oop .runTool (Sq oop. java: 243) в org. apache .sq oop .Sq oop .main (Sq oop. java: 252) Причина: java. net .UnknownHostException: upgradedawsrds.cpclxrkdvwmz.us-east1. rds.amazon aws .com в java. net .Inet4AddressImpl.lookupAllHostAddr (собственный метод) в java. net .InetAddress $ 1.lookupAllHostAddr (InetAddress. java: 901) в java . net .InetAddress.getAddressesFromNameService (InetAddress. java: 1293) в java. net .InetAddress.getAllByName0 (InetAddress. java: 1246) в java. net .InetAddress. (InetAddress. java: 1162) в java. net .InetAddress.getAllByName (InetAddress. java: 1098) в com. mysql .jdb c .StandardSocketFactory.connect (StandardSocketFactory. java: 249) at com. mysql .jdb c .MysqlIO. (MysqlIO. java: 307) ... еще 33 20.03.08 16:11:27 ОШИБКА tool.ImportTool: Ошибка импорта: java .i o.IOException: Нет столбцов, которые нужно сгенерировать для ClassWriter на орг. apache .sq oop .orm.ClassWriter.generate (ClassWriter. java: 1663) на орг. apache .sq oop .tool. CodeGenTool.generateORM (CodeGenTool. java: 106) в орг. apache .sq oop .tool.ImportTool.importTable (ImportTool. java: 494) в орг. apache .sq oop. tool.ImportTool.run (ImportTool. java: 621) в орг. apache .sq oop .Sq oop .run (кв. oop. java: 147) в орг. apache .had oop .util.ToolRunner.run (ToolRunner. java: 70) в орг. apache .sq oop .Sq oop .runSq oop (Sq oop. java : 183) в орг. apache .sq oop .Sq oop .runTool (Sq oop. java: 234) в орг. apache .sq oop .Sq oop. runTool (Sq oop. java: 243) в орг. apache .sq oop .Sq oop .main (Sq oop. java: 252)

Есть идеи, как это исправить? Заранее спасибо.

1 Ответ

0 голосов
/ 08 марта 2020

Из трассировки стека довольно ясно, что это вызвано java. net. * UnknownHostException относительно URI upgradedawsrds.cpclxrkdvwmz.us-east1.rds.amazon aws .com . URI неверен или DNS-сервер, на который он указывает, не разрешается. Обновите URI для обновления DNS.

...