Управление конфигурацией для Linux / Hadoop Cluster

Question

Мне нужно настроить небольшой кластер Hadoop на компьютерах с Linux (Ubuntu). Для этого мне нужно установить JDK, python и некоторые другие утилиты linux на всех системах. После этого я должен настроить Hadoop для каждой системы один за другим. Есть ли какой-либо инструмент, чтобы я мог установить все эти инструменты из одной системы. Например, если мне нужно установить jdk в какой-либо системе, этот инструмент должен быть установлен в нее. Я предпочитаю, чтобы инструмент работал в сети.

Answer 1

Apache Ambari или Cloudera Manager специально созданы для выполнения этих задач для Hadoop

Они также контролируют кластер и предоставляют дополнительные сервисы, которые взаимодействуют с ним, такие как Kafka, Hbase, Spark и т. Д.

Впрочем, это далеко не так далеко, и вам понадобится что-то вроде Ansible для развертывания пользовательских конфигураций (AWX - это веб-интерфейс для Ansible). Puppet & Chef - тоже альтернатива