Какова роль каталога u0X в кластерах Had oop? - PullRequest
1 голос
/ 28 марта 2020

Я новичок в oop и Linux. Я следую учебному пособию по созданию простого 3-узлового кластера и после успешной установки псевдо-распределенного кластера, теперь мне нужно перенастроить его на полностью распределенный.

Я дошел до того, что мне нужно обеспечить избыточность для файл fsimage. Поэтому в соответствии с руководством мне нужно отредактировать hdfs-site.xml следующим образом:

Текущая настройка (псевдораспределенная)

<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/hadoop/hdfs/namenode</value>
</property>

Изменить на (полностью распределенную)

<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:///u01/dfs/namenode,file:///u02/dfs/namenode</value>
</property>

Это кажется простым, но для нового пользователя linux возникает вопросительный знак.

Что означает u01 и u02? Это просто новые каталоги, которые мне нужно создать? Есть ли какие-то неявные конфигурации, связанные с ними? Tutroial не предоставляет больше информации, поэтому я предполагаю, что есть некоторые общие знания, которых мне не хватает. Должен ли я просто создавать каталоги, изменять файл xml и двигаться дальше?

Любое объяснение о том, что такое каталог uXX в целом и как оно относится к кластеру oop, будет оценено.

1 Ответ

2 голосов
/ 28 марта 2020

Свойство dfs.namenode.name.dir определяет, где в локальной файловой системе наменод HDFS должен хранить постоянные метаданные HDFS (fsimage и правки). По крайней мере один путь к каталогу требуется в качестве значения для этого свойства.

Если вы предоставите список путей к каталогам через запятую, namenode попытается реплицировать одни и те же метаданные по всем этим путям. Он предназначен только для резервирования.

Пути к каталогам могут иметь любую структуру, если пользователь, выполняющий процесс namenode, имеет к ним доступ. Здесь uXX предназначено исключительно для того, чтобы различать, что это разные пути каталогов.

Это свойство также принимает пути к удаленным (например, NFS) каталогам файловой системы в дополнение к локальной FS.

...