Установите Hadoop в открытый стек

Question

Я новичок в больших данных. И у меня есть вопрос по поводу установки hadoop. В настоящее время я использую изображение на VirtualBox, но я хотел бы создать кластер на openstack. Сначала я подумал, что мне просто нужно создать экземпляр образа hadoop в openstack или установить несколько экземпляров и использовать образ док-станции hadoop. Но я нашел несколько примеров стека в Сахаре. Зная, что у меня уже есть openstack, доступный для нескольких человек, возможно ли создать кластер hadoop, не проходя через openstack Sahara? Или это не рекомендуется?

Answer 1

Да, возможно создать кластер Hadoop в облаке OpenStack без использования OpenStack Sahara. Вы можете запустить 3 виртуальных машины в OpenStack и назначить плавающий IP этим виртуальным машинам. Один может использоваться как Мастер, а два других - как Рабы. Вы можете выполнить шаги установки многоузловой Hadoop на этих виртуальных машинах и подключить их, используя конфигурацию SSH, которая будет упомянута в руководстве по настройке многоузловой Hadoop.

Вы также можете написать скрипт автоматической оболочки для запуска Hadoop в OpenStack.

Answer 2

Не уверен насчет "Sahara Openstack", но вы наверняка можете создать кластер Hadoop, используя узлы VM на openstack.

Руководство по установке одного узла http://tecadmin.net/setup-hadoop-2-4-single-node-cluster-on-linux/#