hadoop не работает в многоузловом кластере - PullRequest
Новая
       19

hadoop не работает в многоузловом кластере

2 голосов
/ 27 апреля 2011

У меня есть файл jar "Tsp.jar", который я сделал сам. Эти же самые jar-файлы хорошо работают при настройке кластера с одним узлом hadoop. Однако когда я запускаю его на кластере, состоящем из 2 машин, ноутбука и настольного компьютера, это дает мне исключение, когда функция карты достигает 50%. Вот вывод 

`hadoop@psycho-O:/usr/local/hadoop$ bin/hadoop jar Tsp.jar clust-Tsp_ip1 clust_Tsp_op4
11/04/27 16:13:06 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.
11/04/27 16:13:06 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
11/04/27 16:13:06 INFO mapred.FileInputFormat: Total input paths to process : 1
11/04/27 16:13:06 INFO mapred.JobClient: Running job: job_201104271608_0001
11/04/27 16:13:07 INFO mapred.JobClient:  map 0% reduce 0%
11/04/27 16:13:17 INFO mapred.JobClient:  map 50% reduce 0%
11/04/27 16:13:20 INFO mapred.JobClient: Task Id : attempt_201104271608_0001_m_000001_0, Status : FAILED
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Tsp$TspReducer
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:841)
    at org.apache.hadoop.mapred.JobConf.getCombinerClass(JobConf.java:853)
    at org.apache.hadoop.mapred.Task$CombinerRunner.create(Task.java:1100)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:812)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:350)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
    at org.apache.hadoop.mapred.Child.main(Child.java:170)
Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Tsp$TspReducer
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:809)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:833)
    ... 6 more
Caused by: java.lang.ClassNotFoundException: Tsp$TspReducer
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:247)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:762)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:807)
    ... 7 more

11/04/27 16:13:20 WARN mapred.JobClient: Error reading task outputemil-desktop
11/04/27 16:13:20 WARN mapred.JobClient: Error reading task outputemil-desktop
^Z
[1]+  Stopped                 bin/hadoop jar Tsp.jar clust-Tsp_ip1 clust_Tsp_op4

hadoop@psycho-O:~$ jps
4937 Jps
3976 RunJar

` Alse кластер работал нормально, выполняя пример wordcount. Так что я думаю, это проблема с файлом Tsp.jar.

1) Нужно ли иметь jar-файл для запуска в кластере?

2) Здесь я попытался запустить файл jar в кластере, который я сделал. Но все равно выдает предупреждение, что файл jar не найден. Почему это так?

3) О чем нужно заботиться при запуске файла jar? Как то, что все это должно содержать, кроме программы, которую я написал? Мой jar-файл содержит Tsp.class, Tsp $ TspReducer.class и Tsp $ TspMapper.class. Терминал говорит, что не может найти Tsp $ TspReducer, когда он уже есть в файле JAR.

Thankyou

РЕДАКТИРОВАТЬ 

public class Tsp {
    public static void main(String[] args) throws IOException {
    JobConf conf = new JobConf(Tsp.class);
    conf.setJobName("Tsp");
    conf.setOutputKeyClass(Text.class);
    conf.setOutputValueClass(Text.class);
    conf.setMapperClass(TspMapper.class);
    conf.setCombinerClass(TspReducer.class);
    conf.setReducerClass(TspReducer.class); 
    FileInputFormat.addInputPath(conf,new Path(args[0]));
    FileOutputFormat.setOutputPath(conf,new Path(args[1]));
    JobClient.runJob(conf);
    }
    public static class TspMapper extends MapReduceBase
    implements Mapper<LongWritable, Text, Text, Text> {
    function findCost() {
    }
    public void map(LongWritable key,Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException {
        find adjacency matrix from the input;
        for(int i = 0; ...) {
        .....
        output.collect(new Text(string1), new Text(string2));
        }
    }
    }    
    public static class TspReducer extends MapReduceBase implements Reducer<Text, Text, Text, Text> { 
    Text t1 = new Text();
    public void reduce(Text key, Iterator<Text> values, OutputCollector<Text, Text> output, Reporter reporter) throws IOException {
        String a;
            a = values.next().toString();
            output.collect(key,new Text(a));
    }
    }
}

Ответы [ 3 ]

7 голосов
/ 28 апреля 2011

В настоящее время у вас есть 

conf.setJobName("Tsp");
conf.setOutputKeyClass(Text.class);
conf.setOutputValueClass(Text.class);
conf.setMapperClass(TspMapper.class);
conf.setCombinerClass(TspReducer.class);
conf.setReducerClass(TspReducer.class);

, и, как свидетельствует ошибка No job jar file set, вы не устанавливаете банку.

Вам понадобится что-то похожее на 

conf.setJarByClass(Tsp.class);

Из того, что я вижу, это должно устранить ошибку, увиденную здесь.

2 голосов
/ 23 июня 2011

У меня была точно такая же проблема.Вот как я решил проблему (представьте, что класс сокращения вашей карты называется A).После создания вакансии позвоните:
job.setJarByClass(A.class);

2 голосов
/ 27 апреля 2011 
11/04/27 16:13:06 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).

Делайте то, что они говорят, когда настраиваете свою работу, установите банку, в которой содержится класс.Hadoop копирует jar в DistributedCache (файловую систему на каждом узле) и использует из него классы.

...