Настройка мультиузлового кластера Hadoop Hortonworks

Question

Я работаю над проверкой концепции в hadoop и, вероятно, настрою кластер с компонентами HDP и HDF.

Объем данных действительно мал, поэтому объем диска может не понадобитьсячем 10 ГБ для каждого узла, если я не ошибаюсь.

Какие критерии следует учитывать для отсутствия ЦП и ОЗУ для главного и подчиненного узла?

Answer 1

В вашем случае, похоже, вы выполняете задания MapReduce на нескольких узлах. Насколько я знаю, ведомый узел будет нормально работать с любой конфигурацией процессора и 2/4 ГБ ОЗУ. Для Master Node вы можете приобрести машину с 4-ядерным процессором с одним или двумя слотами и 8 ГБ оперативной памяти.