Использование OpenStack для управления виртуальными машинами больших данных - PullRequest
0 голосов
/ 16 сентября 2018

Мы установили несколько компонентов Big Data, таких как разные виртуальные машины Apache Hadoop, Spark и Kafka. Для управления этими виртуальными машинами в производственной среде (некоторые физические серверы с локальным хранилищем и без хранилища SAN) я хочу использовать OpenStack. Чтение документов OpenStack Я выяснил, что он создан из множества различных компонентов, каждый из которых предназначен для определенной цели. Кроме того, OpenStack нужны некоторые обязательные отдельные узлы, такие как controller , compute и network (я не уверен насчет сетевого узла!). Мои вопросы:

  1. Какие компоненты OpenStack необходимы для развертывания больших данных?
  2. Сколько отдельного физического узла (контроллера, вычислений и сети) требуется OpenStack для работы на производстве (кроме узла ресурсов)?
  3. Можем ли мы запустить OpenStack на виртуальных машинах, таких как VirtualBox, просто для тестирования?

1 Ответ

0 голосов
/ 16 сентября 2018

Этот вопрос, вероятно, лучше всего задать на ask.openstack.org , так как это немного не по теме для StackOverflow.

Вам, по сути, нужна параосновных компонентов для OpenStack (Keystone, Nova, Neutron и Glance) для работы.Все они могут работать на одних и тех же двух или трех блоках.

Помимо компонентов Openstack, вам понадобятся RabbitMQ и MySQL.В идеале они должны иметь кворум для производственных развертываний.

Что касается сети, существует множество сетевых макетов, и, как правило, вам не нужны дополнительные сетевые узлы.Если вам нужна только плоская сеть, это относительно просто, но если вам нужно что-то более продвинутое, вы можете обратиться к специалисту по сетям.

Вы действительно можете запустить OpenStack на виртуальной машине, используя devstack , но имейте в виду, что такое тестирование предназначено для тестирования базовой функциональности, а не для тестирования развертывания сложных сервисов, таких как Hadoop или Spark.

Возможно, будет проще использовать что-то вроде Kolla настроить базовую среду тестирования.Для целей тестирования вам нужен только один узел для размещения плоскости управления.Еще одна альтернатива для развертывания - Packstack .

...