sq oop export - файлы парков в postgres база данных не найдена, исключение - местоположение не существует - PullRequest
Новая
       28

sq oop export - файлы парков в postgres база данных не найдена, исключение - местоположение не существует

0 голосов
/ 23 марта 2020

Может ли sq oop экспортировать таблицы кустов в postgres или любую другую базу данных? Мне удалось экспортировать CSV-файл в базу данных postgres. Я пытаюсь экспортировать таблицу формата Hive Parqure.

Я попробовал следующую команду 

sqoop export --connect jdbc:postgresql://myhost:myportnumber/my_table --username my_user --password my_pwd  --columns id,last_updated_ts --export-dir "hdfs:///my_path/my_table" --table my_table -- --schema my_schema --validate --validator org.apache.sqoop.validation.RowCountValidator --validation-failurehandler org.apache.sqoop.validation.AbortOnFailureHandler

Я получил следующую ошибку. 

20/03/23 16:59:33 INFO conf.HiveConf: Found configuration file file:/etc/hive/3.1.0.0-78/0/hive-site.xml
20/03/23 16:59:33 ERROR sqoop.Sqoop: Got exception running Sqoop: org.kitesdk.data.DatasetNotFoundException: Descriptor location does not exist: hdfs://mypath/.metadata
org.kitesdk.data.DatasetNotFoundException: Descriptor location does not exist: hdfs://mypath/.metadata
        at org.kitesdk.data.spi.filesystem.FileSystemMetadataProvider.checkExists(FileSystemMetadataProvider.java:578)
        at org.kitesdk.data.spi.filesystem.FileSystemMetadataProvider.find(FileSystemMetadataProvider.java:621)
        at org.kitesdk.data.spi.filesystem.FileSystemMetadataProvider.load(FileSystemMetadataProvider.java:112)
        at org.kitesdk.data.spi.filesystem.FileSystemDatasetRepository.load(FileSystemDatasetRepository.java:199)
        at org.kitesdk.data.Datasets.load(Datasets.java:108)
        at org.kitesdk.data.Datasets.load(Datasets.java:140)
        at org.kitesdk.data.mapreduce.DatasetKeyInputFormat$ConfigBuilder.readFrom(DatasetKeyInputFormat.java:92)
        at org.kitesdk.data.mapreduce.DatasetKeyInputFormat$ConfigBuilder.readFrom(DatasetKeyInputFormat.java:139)
        at org.apache.sqoop.mapreduce.JdbcExportJob.configureInputFormat(JdbcExportJob.java:82)
        at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:434)
        at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
        at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:94)
        at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:113)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:150)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:186)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:240)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:249)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:258)
...