Ошибка файла не найдена при выполнении задания sqoop - PullRequest
Новая
       19

Ошибка файла не найдена при выполнении задания sqoop

0 голосов
/ 29 мая 2018

Когда я выполняю задание sqoop, оно выдает ошибку FileNotFoundException, как показано ниже

18/05/29 06:18:59 INFO orm.CompilationManager: Запись файла jar: / tmp / sqoop-hduser/compile/0ce66d1f09ce960a71c165855afbe42c/QueryResult.jar 18/05/29 06:18:59 INFO mapreduce.ImportJobBase: начало импорта запроса.18/05/29 06:18:59 ИНФОРМАЦИЯ Configuration.deprecation: mapred.job.tracker устарела.Вместо этого используйте mapreduce.jobtracker.address 18/05/29 06:18:59 WARN util.NativeCodeLoader: невозможно загрузить библиотеку native-hadoop для вашей платформы ... с использованием встроенных java-классов, где это применимо 18/05/29 06:18:59 ИНФОРМАЦИЯ Configuration.deprecation: mapred.jar устарела.Вместо этого используйте mapreduce.job.jar 18/05/29 06:19:01 ИНФОРМАЦИЯ Configuration.deprecation: mapred.job.tracker устарела.Вместо этого используйте mapreduce.jobtracker.address 18/05/29 06:19:01 ИНФОРМАЦИЯ Configuration.deprecation: mapred.map.tasks устарела.Вместо этого используйте mapreduce.job.maps 18/05/29 06:19:01 ИНФОРМАЦИЯ Configuration.deprecation: session.id устарела.Вместо этого используйте dfs.metrics.session-id 18/05/29 06:19:01 ИНФОРМАЦИЯ jvm.JvmMetrics: Инициализация метрик JVM с помощью processName = JobTracker, sessionId = 18/05/29 06:19:01 ИНФОРМАЦИЯ mapreduce.JobSubmitter:Очистка файла промежуточной области: /app/hadoop/tmp/mapred/staging/hduser1354549662/.staging/job_local1354549662_0001 18/05/29 06:19:01 ОШИБКА tool.ImportTool: Обнаружена исключительная ситуация IOException при выполнении задания импорта: java.io.FileNotFound: Файл не существует: hdfs: // svn-сервер: 54310 / home / hduser / sqoop-1.4.6.bin__hadoop-2.0.4-alpha / lib / postgresql-9.2-1002-jdbc4.jar в org.apache.hadoop.hdfs.DistributedFileSystem $ 18.doCall (DistributedFileSystem.java:1122) в org.apache.hadoop.hdfs.DistributedFileSystem $ 18.doCall (DistributedFileSystem.java:1114) в org.apache.hadoop.fs.FileSystemLololol.Java: 81) в org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus (DistributedFileSystem.java:1114) в org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus (ClientDistributedCacheManager.java:288) по адресу org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus (ClientDistributedCacheManager.java:224) по адресу org.apache.hadoop.mapreduce.filecager.jpgMacDignMacDignDacDateCate.Chint.apache.hadoop.mapreduce.filecache.(JobSubmitter.java:390) в org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal (JobSubmitter.java:483) в org.apache.hadoop.mapreduce.Job $ 10.run (Job.java:1296) в org.apache.hadoop.mapreduce.Job $ 10.run (Job.java:1293) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:415) в org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupIncreation.java:1628) в org.apache.hadoop.mapreduce.Job.submit (Job.java:1293) в org.apache.hadoop.mapreduce.Job.waitForCompletion (Job.java:1314) в org.apache.sqoop.mapreduce.ImportJobBase.) в org.apache.sqoop.manager.SqlManager.importQuery (SqlManager.java:729) в org.apache.sqoop.tool.ImportTool.importTable (ImportTool.java:499) в org.apache.sqoop.tool.ImportTool.запустить (ImportTool.java:605) в org.apache.sqoop.tool.JobTool.execJob (JobTool.java:228) в org.apache.sqoop.tool.JobTool.run (JobTool.java:283) в org.apache.sqoop.Sqoop.run (Sqoop.java:143)в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:70) в org.apache.sqoop.Sqoop.runSqoop (Sqoop.java:179) в org.apache.sqoop.Sqoop.runTool (Sqoop.java: 218) в org.apache.sqoop.Sqoop.runTool (Sqoop.java:227) в org.apache.sqoop.Sqoop.main (Sqoop.java:236) `

Это должно выглядетьдля jars и других зависимостей в локальном каталоге sqoop/lib, но он выглядит в HDFS с тем же путем к файлу, что и мой локальный путь к библиотеке sqoop.В соответствии с требованиями проекта, мне нужно sqoop, чтобы заглянуть в мою локальную библиотеку.Как мне этого добиться?Благодарю.

1 Ответ

0 голосов
/ 05 июня 2018

Настроили ли вы переменные окружения SQOOP_HOME и PATH для sqoop в файле .bashrc

, если нет Пожалуйста, добавьте

vi ~ / .bashrc

включает следующие строки: 

export SQOOP_HOME=/your/path/to/the/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

сохраните файл и выполните следующую команду

source ~ / .bashrc

Надеюсь, это полезно для вас !!!

...