Amazon Elastic MapReduce: исключение из файловой системы - PullRequest
2 голосов
/ 23 апреля 2010

Я запускаю свое приложение, используя клиент ruby: rubyastic-mapreduce -j j-20PEKMT9BRSUC --jar s3n: //sakae55/lib/edu.cit.som.jar - основной класс edu.cit.som.hadoop.SOMDriver --arg s3n: // sakae55 / хранилище / input / ecoli / --arg s3n: // sakae55 / хранилище / output / ecoli / pl / --arg s3n: //sakae55/repository/data/ecoli/som.txt

Затем я вижу следующую ошибку:

java.lang.IllegalArgumentException: этот объект файловой системы (file: ///) не поддерживает доступ к пути запроса 'hdfs: // i -10-195-207-230.ec2.internal: 9000 / mnt / var / lib / hadoop / tmp / mapred / system / job_201004221221_0017 / job.jar 'Возможно, вы позвонили в Fi eSystem.get (conf), когда вам нужно вызвать FileSystem.get (uri, conf), чтобы получить файловую систему, поддерживающую ваш путь. в org.apache.hadoop.fs.FileSystem.checkPath (FileSystem.java:320) в org.apache.hadoop.fs.RawLocalFileSystem.pathToFile (RawLocalFileSystem.java:52) в org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus (RawLocalFileSystem.java:416) в org.apache.hadoop.fs.FilterFileSystem.getFileStatus (FilterFileSystem.java:259) в org.apache.hadoop.fs.FileSystem.isDirectory (FileSystem.java:676) в org.apache.hadoop.fs.FileUtil.copy (FileUtil.java:200) в org.apache.hadoop.fs.FileSystem.copyFromLocalFile (FileSystem.java:1184) в org.apache.hadoop.fs.FileSystem.copyFromLocalFile (FileSystem.java:1160) в org.apache.hadoop.fs.FileSystem.copyFromLocalFile (FileSystem.java:1132) в org.apache.hadoop.mapred.JobClient.configureCommandLineOptions (JobClient.java:662) в org.apache.hadoop.mapred.JobClient.submitJob (JobClient.java:729) в org.apache.hadoop.mapred.JobClient.runJob (JobClient.java:1026) на edu.cit.som.hadoop.SOMDriver.runIteration (SOMDriver.java:106) на edu.cit.som.hadoop.SOMDriver.train (SOMDriver.java:69) на edu.cit.som.hadoop.SOMDriver.run (SOMDriver.java:52) в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:65) в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:79) в edu.cit.som.hadoop.SOMDriver.main (SOMDriver.java:36) at sun.reflect.NativeMethodAccessorImpl.invoke0 (собственный метод) at sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:25) в java.lang.reflect.Method.invoke (Method.java:597) в org.apache.hadoop.util.RunJar.main (RunJar.java:155) на org.apache.hadoop.mapred.JobShell.run (JobShell.java:54) в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:65) в org.apache.hadoop.util.ToolRunner.run (ToolRunner.java:79) в org.apache.hadoop.mapred.JobShell.main (JobShell.java:68)

Я не уверен, почему ошибка ссылается на «file: ///», хотя все аргументы, которые я передаю, не используют схему.

1 Ответ

1 голос
/ 27 апреля 2010

Оказалось, что повторное использование объекта JobConf вызывало эту проблему. Изменение кода для создания нового экземпляра для каждой итерации решило проблему.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...