HDFS: удаление каталога данных узла только одного узла - PullRequest
Новая
       186

HDFS: удаление каталога данных узла только одного узла

1 голос
/ 07 апреля 2020

У нас есть кластер Had oop (HDP 3.1.4 с Ambari 2.7), содержащий 3 узла данных: data1, data2, data3 со следующими дисками HDFS и точками монтирования:

  • хост данные [1-2]

    • / dev / sdb -> / mnt / datadisk1
    • / dev / sd c -> / mnt / datadisk2
    • / dev / sdd -> / mnt / datadisk3

  • данные хоста3

    • / dev / sdb -> / mnt / datadisk1
    • / dev / sd c -> / mnt / datadisk2

Во время настройки кластера мы устанавливаем dfs.datanode.data.dir в значение /mnt/datadisk1,/mnt/datadisk2,/mnt/datadisk3. Теперь мы увидели, что наш root раздел (/) на узле data3 полностью заполнен, поскольку точка монтирования / mnt / datadisk3 не существует и, следовательно, данные (HDFS) хранятся в разделе root вместо игнорируется.

Есть ли способ как-то удалить этот неправильный путь (data3 : /mnt/datadisk3), не редактируя файлы конфигурации непосредственно в ОС (мы хотим использовать Ambari)?

1 Ответ

0 голосов
/ 20 апреля 2020

@D.Muller вы должны иметь возможность редактировать пути в ambari. Во время установки ambari попытается добавить несколько путей в список каталогов. Ваши пути должны быть одинаковыми для всех узлов. Скорее всего, это может сбить вас с толку, когда на одном узле отсутствует путь. Если вы войдете в систему ambari и удалите несуществующий диск, вы сможете исправить эту проблему.

...