Для чего нужен файл VERSION для hadoop.tmp.dir - PullRequest
Новая
       10

Для чего нужен файл VERSION для hadoop.tmp.dir

0 голосов
/ 12 января 2019

Недавно я отформатировал namenode, и при запуске datanode hadoop daemon не работал и выдавал ошибку, как показано ниже

2019-01-11 10: 39: 15,449 ПРЕДУПРЕЖДЕНИЕ org.apache.hadoop.hdfs.server.common.Storage: не удалось добавить хранилище файл каталога [DISK]: / app / hadoop / tmp / dfs / data / java.io.IOException: Несовместимые идентификаторы кластера в / app / hadoop / tmp / dfs / data: namenode clusterID = CID-76c39119-061a-4ecf-9de1-3a6610ca57dd; DataNode clusterID = CID-90359d7f-b1a5-431e-8035-bc4b9e2ea8b9

В качестве разрешения я удалил tmp и снова создал его рабочий файл, а также скопировал CID namenode в CID датоде в файле версии, в котором он начал работать.

Просматривая мои резервные копии, я вижу, что CID отличался для датододы и наменода, и это работало ранее.

Может ли кто-нибудь предоставить некоторую информацию о том, что представляет собой каждое значение, и оба CID должны быть одинаковыми или разными?

  1. storageID = DS-7628c4d7-a508-406c-94fa-9b00f45b4f42
  2. Кластерный = ИДС-73f3a584-4a8a-4260-856c-5a2062b6ae61
  3. CTIME = 0
  4. datanodeUuid = 40834363-2025-4e9a-bb1e-e489bf13cad9

  5. layoutVersion = -57

  6. namespaceID = 1181871748

  7. Кластерный = ИДС-73f3a584-4a8a-4260-856c-5a2062b6ae61
  8. CTIME = 1547187830726
  9. storageType = NAME_NODE
  10. blockpoolID = BP-2120424576-127.0.1.1-1547187830726
  11. layoutVersion = -63

Ответы [ 2 ]

0 голосов
/ 18 января 2019

Значения, присутствующие в главном файле VERSION, действуют как аутентификация для узлов данных. Только действительные датододы могут присоединяться к кластеру. Когда датодат присоединяется к кластеру, он может быть аутентифицирован только по значениям в файле VERSION. Надеюсь, это ясно, ваше сомнение.

0 голосов
/ 17 января 2019

Идентификатор кластера должен быть одинаковым в datanode, а также в namenode. Или же удалить каталоги <dfs.datanode.data.dir> / и <dfs.namenode.name.dir> / и отформатировать узел имени, чтобы запустить кластер hdfs со свежей копией идентификатора кластера. Вы можете сослаться на сайт учебника hadoop для более подробной информации

...