Конфигурация Hadoop Физическое местоположение

Question

Я хочу задать основной вопрос, который не смог найти в онлайн-уроках.

Должны ли файлы конфигурации hadoop быть на всех узлах? (NameNode, DataNode, JobTracker и т. Д.)

Или они должны находиться только на компьютере пользователя @, где находится NameNode?

Другими словами, чтобы правильно настроить полностью распределенный кластер, нужно ли мне реплицировать файлы конфигурации на каждый узел?

Спасибо!

Answer 1

Да, вы правы, файлы конфигурации должны быть на каждом подчиненном устройстве.

Я говорю просто «ведомый», потому что мастер обычно имеет другие конфигурации, которые вы, возможно, захотите использовать, что делает настройку на ведомых устройствах более многословной.

Две вещи, которые облегчают жизнь:

• Используйте NFS Mount для конфигурации подчиненных устройств
• Или используйте инструмент, который сделает это за вас, например Chef