Hadoop порождает несколько ВМ

Question

Когда я запускаю hadoop с использованием сценария bin / start-all.sh, кажется, что запускаются разные JVM для узла имени, узла данных, отслеживания заданий и отслеживания заданий.

Более того, когда я начинаю работу, создается впечатление, что для каждой работы создается другая JVM.

Есть ли конкретная причина, по которой это делает hadoop. Я понимаю, что это необходимо в многоузловой кластерной среде, но она делает то же самое даже в кластере с одним узлом.

Есть ли способ, которым я могу указать любой параметр конфигурации, который запускает все под той же JVM?

Answer 1

Я не читал ничего, что конкретно говорит, почему они сделали это таким образом, но с несколькими JVM вы можете потенциально использовать больше вашей физической ОЗУ (в зависимости от O / S). Вы также получаете некоторую изоляцию. Итак, если вы хотите изменить настройку одного компонента, вам нужно только перезапустить этот. Не то чтобы это огромная выгода, обязательно. Кроме того, с точки зрения реализации, вероятно, проще сделать это одинаково, а не разную логику для разных установок.

OTOH, почему бы не создать несколько JVM?