Установка кластера hadoop между виртуальными машинами на разных компьютерах

Question

Я отвечаю за обучение Hadoop группе людей (скажем, 5 человек), но без какого-либо доступного оборудования.

У каждого из них есть ноутбук, с довольно хорошим объемом памяти и процессоров.

Я бы хотел, чтобы они создали кластер Hadoop между своими ноутбуками, которые будут подключены к одной сети.

Пока что я думаю о том, чтобы:

• создать образ виртуальной машины с предварительно сконфигурированной ubuntu 16 (я выбрал ubuntu 16), чтобы быть готовым стать узлом кластера
• попросить каждого из них запустить виртуальную машину на своем компьютере
• создание кластера поверх этой сети виртуальных машин

Однако у меня есть несколько блокировок:

1 / возможно ли создать частную сеть виртуальных машин, расположенных на их разных компьютерах, так что кластер hadoop изолирован от сети, которая связывает физические машины?

2 / Что может быть не так с этим подходом?

3 / Есть ли лучший способ справиться с этой потребностьюиз сКак настроить кластер Hadoop между разными персональными компьютерами?

Кстати, я вполне согласен с установкой Hadoop и так далее ...

Заранее благодарен за помощь, предложения, ...

Answer 1

возможно ли создать частную сеть виртуальных машин, расположенных на их разных машинах

Да, компании делают это все время с кластерами виртуальных машин.Конечно, в этих компаниях есть люди с многолетним опытом работы в подобных сетевых настройках, и они имеют глубокие знания о брандмауэрах и таблицах маршрутизации

, так что кластер hadoop изолирован от сети, которая связывает физические машины?

Не без специальной подсети для подключения всех машин.Я предполагаю, что каждый ноутбук использует один и тот же маршрутизатор, и каждое устройство имеет один сетевой интерфейс, общий для хоста и виртуальной машины, поэтому его создание может оказаться затруднительным.

Что может быть не так сэтот подход?

Вам нужно назначить хотя бы одну машину в качестве "мастера" - namenode и ResourceManager.Без этой машины ничего не получится.В лучшем подходе используются развертывания высокой доступности, но тогда вы полагаетесь на «двух людей»

Есть ли лучший способ справиться с этой необходимостью настройки кластера Hadoop

Используйте бесплатный уровень / кредит AWS, Azure или GCP для настройки кластера.Может начинаться с 2-3 узлов, а не с 5