Файл Hadoop dfs.include

Question

Пожалуйста, объясните, каково назначение файла dfs.include и как его определить.Я добавил новый узел в кластер Hadoop, но наменоде он не идентифицирован.В одном из сообщений я обнаружил, что dfs.include может решить эту проблему.Заранее спасибо, Влади

Answer 1

Недостаточно просто включить имя узла в dfs.include и mapred.include.Подчиненный файл должен быть обновлен в namenode / jobtracker.Tasktracker и datanode должны быть запущены на новом узле, а команда refreshNodes должна быть запущена на NameNode и JobTracker, чтобы они знали о новом узле.

Вот инструкции о том, как это сделать.

В соответствии с 'Hadoop: Полное руководство'

Файл (или файлы), указанный в dfs.Свойства hosts и mapred.hosts отличаются от файла slaves.Первый используется namenode и jobtracker, чтобы определить, какие рабочие узлы могут подключаться.Файл slaves используется управляющими сценариями Hadoop для выполнения операций всего кластера, таких как перезапуск кластера.Он никогда не используется демонами Hadoop.