Управление hdf в псевдораспределенном режиме hadoop

Question

Я хочу выполнить некоторые вычисления с помощью hadoop и mahout на моей четырехъядерной машине, поэтому я использую hadoop в псевдораспределенном режиме.

Проблема в том, что пространство на моем корневом диске ограничено, поэтому как я могу настроить его для использования пространства, доступного на каком-то другом внешнем жестком диске.

Answer 1

Вы можете настроить, где hdfs хранит свои данные. Добавьте следующее в ваш conf / hdfs-site.xml:

<property>
    <name>dfs.data.dir</name>
    <value>__path_to_where_you_want_to_store_your_data/hdfs/data/</value>
</property>
<property>
    <name>dfs.name.dir</name>
    <value>__path_to_where_you_want_to_store_your_data/hdfs/name/</value>
</property>

После этих изменений вам придется отформатировать ваш namenode:

hadoop namenode -format