Могу ли я установить второй Hadoop с CDH, если я уже установил Hadoop с Ambari?На тех же машинах - PullRequest
0 голосов
/ 07 июня 2018

Могу ли я иметь второй кластер Hadoop с CDH, если у меня уже есть кластер Hadoop с Ambari на тех же трех машинах?Если да, как я могу перенести данные из исходного кластера в новый кластер?Спасибо.

Ответы [ 2 ]

0 голосов
/ 11 июня 2018

То, что вы пытаетесь выполнить, называется «поглощение Амбари» или «поглощение кластера».См. это обсуждение для получения дополнительной информации.

Некоторые важные замечания здесь: Это будет довольно сложно и сложно, так как вам придется выполнить новую настройку Ambari и завершить захват Ambari существующего кластера HDP вотсутствие резервного копирования базы данных.У вас есть три варианта:

  1. Если кластер не является рабочим и существует возможность очистки кластера, то я бы порекомендовал очистить кластер и настроить новый с помощью Ambari.Это сэкономит вам много времени.Даже если есть некоторые данные, просто взвесьте время и усилия, чтобы обменяться данными для резервного копирования данных и выполнения новой установки по сравнению с выполнением Ambari Takeover, как объяснено на высоком уровне в следующих двух вариантах.

  2. КластерПоглощение с помощью API-интерфейсов Ambari Настройте Ambari Server и базу данных Ambari, как и ранее, на новом компьютере. Обновите Ambari-Agents, чтобы указать на хост Ambari-server.Используйте API Ambari для выполнения захвата кластера, т.е. добавьте кластер, добавьте хосты, зарегистрируйте сервисы и компоненты, зарегистрируйте компоненты хоста.Ниже приведены API-интерфейсы Ambari.https://cwiki.apache.org/confluence/display/AMBARI/API+usage+scenarios%2C+troubleshooting%2C+and+other+FAQs

  3. Третий вариант - выполнить фиктивную установку кластера с использованием Ambari, а затем обновить конфиги в Ambari.

Примечание. Убедитесь, что вы регулярно работаете с базами данных, устанавливаете каталоги и резервные копии конфигурации и перемещаете их на другой сервер резервного копирования или HDFS, чтобы избежать дальнейших проблем из-за аппаратных сбоев.Примечание. Убедитесь, что вы берете базу данных, устанавливаете каталоги и конфигурируете резервные копии с регулярной частотой в будущем и перемещаете их на другой сервер резервного копирования или HDFS, чтобы избежать дальнейших проблем из-за аппаратных сбоев.

0 голосов
/ 07 июня 2018

Да, вы можете, но это не простая задача.У вас будут конфликты портов между службами HDP и CDH.Итак, вам придется выбирать разные порты для вашего кластера CDH.Еще одна болевая точка, о которой нужно позаботиться - оба кластера захотят использовать / etc / hadoop, / etc / hive, ... для хранения файлов конфигурации.Таким образом, один из кластеров должен быть настроен на использование другого местоположения.

Что касается переноса данных, используйте distcp.

...