У меня есть один узел кластера, из которого я получил журналы и дал вход TraceBuilder, и он работает.
Я сгруппировал кластер из 5 узлов под стойку по умолчанию и получил логи. Здесь трассы работы и топологии генерируются правильно.
Я установил кластер из 5 узлов, каждый из которых был привязан к разным стойкам.
Я установил hadoop-0.20.2 на моем Eclipse Helios. Итак, я запустил Tracebuilder, используя
Основной класс: org.apache.hadoop.tools.rumen.TraceBuilder
Я выполнил некоторые задания в кластере и использовал копию папки / usr / local / hadoop / logs / history главного узла в качестве входных данных для TraceBuilder.
Аргументы: /home/arun/job.json /home/arun/topology.json / home / ubuntu / Documents / testlog
Но я получаю
11/12/16 12:02:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
11/12/16 12:02:38 WARN rumen.TraceBuilder: TraceBuilder got an error while processing the [possibly virtual] file master_1324011575958_job_201112161029_0001_hduser_word+count within Path file:/home/ubuntu/Documents/testlog/master_1324011575958_job_201112161029_0001_hduser_word+count
java.lang.NullPointerException
at org.apache.hadoop.tools.rumen.JobBuilder.processTaskAttemptFinishedEvent(JobBuilder.java:492)
at org.apache.hadoop.tools.rumen.JobBuilder.process(JobBuilder.java:149)
at org.apache.hadoop.tools.rumen.TraceBuilder.processJobHistory(TraceBuilder.java:310)
at org.apache.hadoop.tools.rumen.TraceBuilder.run(TraceBuilder.java:264)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:69)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:83)
at org.apache.hadoop.tools.rumen.TraceBuilder.main(TraceBuilder.java:142)
.....................
Он генерирует JSON-файл трассировки задания, но такие поля, как имя хоста и местоположение, в нем "нулевые", а в JSON-файле трассировки топологии нет информации о 5 узлах, и он выглядит следующим образом:
{
"name" : "<root>",
"children" : [ ]
}
Кто-нибудь может мне помочь?
Спасибо,
Арун