Сбой экспорта Sqoop при экспорте файлов паркета из S3 в SQL Server - PullRequest
Новая
       36

Сбой экспорта Sqoop при экспорте файлов паркета из S3 в SQL Server

0 голосов
/ 09 июля 2019

Я пытаюсь экспортировать файл паркетной формы S3 в SQL Server, используя Sqoop, и получаю эту ошибку:

19/07/09 16:12:57 ОШИБКА sqoop.Sqoop: Получено исключение при запуске Sqoop: org.kitesdk.data.DatasetNotFoundException: Неизвестный шаблон URI набора данных: набор данных: s3: // mybucket / data-lake / serve- зона / часть-00002-b5a1da42.snappy.parquet Убедитесь, что файлы JAR для наборов данных s3 находятся в classpath org.kitesdk.data.DatasetNotFoundException: неизвестный шаблон URI набора данных: набор данных: s3: //mybucket/data-lake/serving-zone/part-00002-b5a1da42.snappy.parquet Убедитесь, что файлы JAR для наборов данных s3 находятся в classpath в org.kitesdk.data.spi.Registration.lookupDatasetUri (Registration.java:128) в org.kitesdk.data.Datasets.load (Datasets.java:103) в org.kitesdk.data.Datasets.load (Datasets.java:140) в org.kitesdk.data.mapreduce.DatasetKeyInputFormat $ ConfigBuilder.readFrom (DatasetKeyInputFormat.java:92) в org.kitesdk.data.mapreduce.DatasetKeyInputFormat $ ConfigBuilder.readFrom (DatasetKeyInputFormat.java:139) в org.apache.sqoop.mapreduce.JdbcExportJob.configureInputFormat (JdbcExportJob.java:83) в org.apache.sqoop.mapreduce.ExportJobBase.runExport (ExportJobBase.java:434) в org.apache.sqoop.manager.SQLServerManager.exportTable (SQLServerManager.java:192) в org.apache.sqoop.tool.ExportTool.exportTable (ExportTool.java:80) в org.apache.sqoop.tool.ExportTool.run (ExportTool.java:99) в org.apache.sqoop.Sqoop.run (Sqoop.java:147) в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:76) в org.apache.sqoop.Sqoop.runSqoop (Sqoop.java:183) в org.apache.sqoop.Sqoop.runTool (Sqoop.java:234) в org.apache.sqoop.Sqoop.runTool (Sqoop.java:243) в org.apache.sqoop.Sqoop.main (Sqoop.java:252)

Набор данных присутствует в указанном выше местоположении и не имеет проблем с URI пути. Я попытался экспортировать файл CSV с того же пути, и это сработало.

Ниже приведена моя команда экспорта Sqoop: 

sqoop export --driver com.microsoft.sqlserver.jdbc.SQLServerDriver 
             --connection-manager org.apache.sqoop.manager.SQLServerManager 
             --connect "jdbc:sqlserver://localhost:1433;databaseName=salesdb"  
             --table DimEmployee_test --num-mappers 128 
             --export-dir s3://mybucket/data-lake/serving-zone/part-00002-b5a1da42.snappy.parquet
             --username db-user --password mypassword
...