Ошибка при установке mapred.map.tasks в псевдораспределенном режиме

Question

Как предложено здесь , я запускаю hadoop в псевдораспределенном режиме со следующим файлом mapred-site.xml. Работа выполняется на 4-ядерном компьютере.

<configuration>
   <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>  
   </property>
   <property>
     <name>mapred.map.tasks</name> 
     <value>4</value> 
  </property>
  <property>
     <name>mapred.reduce.tasks</name> 
     <value>4</value> 
  </property>

</configuration>

Я получаю следующую ошибку:

Соотношение зарегистрированных блоков 1.0000 достигло порога 0.9990.

* * 1010

В чем причина этого. Как это исправить?

Answer 1

Это не проблема, а обычная процедура при запуске hadoop.

Safemode - это состояние HDFS, в котором файловая система монтируется только для чтения; репликация не выполняется, файлы не могут быть созданы или удалены. Он автоматически вводится при запуске NameNode, чтобы все время узлов DataNode проверялось с помощью NameNode и объявляло, какие блоки они содержат, прежде чем NameNode определит, какие блоки недостаточно реплицированы и т. Д.

Вы также можете увидеть, что такое Safemode на этой странице .

NameNode ожидает, пока определенный процент блоков не будет представлен и учтен, процент по умолчанию устанавливается параметром dfs.safemode.threshold.pct в hdfs-default.xml. Но вы можете изменить его в hdfs-site.xml.

Это

<property>
  <name>dfs.safemode.threshold.pct</name>
  <value>0.999f</value>
  <description>
    Specifies the percentage of blocks that should satisfy 
    the minimal replication requirement defined by dfs.replication.min.
    Values less than or equal to 0 mean not to wait for any particular
    percentage of blocks before exiting safemode.
    Values greater than 1 will make safe mode permanent.
  </description>
</property>

Итак, вы видите, что лог заканчивается 0.9990

The ratio of reported blocks 1.0000 has reached the threshold 0.9990.