Узел задачи Hadoop не может быть запущен из-за небольшого размера кучи? решена. это из-за hdfs-site.xml - PullRequest
Новая
       20

Узел задачи Hadoop не может быть запущен из-за небольшого размера кучи? решена. это из-за hdfs-site.xml

0 голосов
/ 16 марта 2012

Я настроил кластер hadoop с 8 подчиненными узлами, я могу плавно запустить namenode и datanode и сохранить файлы в формате hdf, однако я хочу протестировать программу на примере программы java из пакета hadoop. Я получаю следующееошибка, 

./bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input/word.txt output/
12/03/15 20:46:25 INFO input.FileInputFormat: Total input paths to process : 1
12/03/15 20:46:25 INFO mapred.JobClient: Running job: job_201203152040_0001
12/03/15 20:46:26 INFO mapred.JobClient:  map 0% reduce 0%
12/03/15 20:46:34 INFO mapred.JobClient: Task Id : attempt_201203152040_0001_m_000002_0, Status : FAILED
java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)

12/03/15 20:46:34 WARN mapred.JobClient: Error reading task outputhttp://Montana-06:50060/tasklog?plaintext=true&taskid=attempt_201203152040_0001_m_000002_0&filter=stdout
12/03/15 20:46:34 WARN mapred.JobClient: Error reading task outputhttp://Montana-06:50060/tasklog?plaintext=true&taskid=attempt_201203152040_0001_m_000002_0&filter=stderr

, затем я иду к узлу задачи и проверяю файлы журналов, которые находятся в logs / userlogs / попытки_201203152028_0002_r_000001_1 / stdout Я делаю следующее, 

#cat stdout 
Error occurred during initialization of VM
Too small initial heap

Затем я проверяюнастройка размера кучи Java используется

ps -ef | grep java

Я считаю, что это -Xmx1000m, я также проверяю с помощью Google, и у меня нет проблем с количеством файлов в логах пользователей, поэтомуЯ полностью сбит с толку этой проблемой, она беспокоит меня два дня.

mapred-site.xml 

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>hdfs://montana-01:8022</value>
  <description>A base for other temporary directories.</description>
</property>

<property>
  <name>mapred.child.java.opts</name>
  <value>-Xmx2000m</value>
  <description>Should native hadoop libraries, if present, be used.</descriptio$
</property>
</configuration>

hdfs-site.xml 

<configuration>
   <property>
    <name>dfs.replication</name>
    <value>1</value>
   </property>

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx1024</value>
</property>

   <property>
    <name>dfs.name.dir</name>
    <value>/home/randomforest/hadoop_dfs</value>
   </property>

   <property>
    <name>dfs.block.size</name>
    <value>128000000</value>
   </property>

   <property>
   <name>dfs.permission</name>
   <value>false</value>
   </property>
</configuration>

core-site.xml 

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/randomforest/hadoop/tmp</value>
  <description>A base for other temporary directories.</description>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://montana-01:8020</value>
  <description>namenode</description>
</property>
</configuration>
...