Как зависит общее хранилище внешнего куста от конкретной версии кластера HDInsight (Hadoop)? - PullRequest
0 голосов
/ 27 октября 2019

Допустим, у нас есть внешнее Has Metastore, а затем у нас есть группа кластеров Hadoop (HDInsight), которые мы удаляем и создаем по мере необходимости для обработки, и они используют этот общий Hive Metastore. На каком-то этапе мы начнем создавать эти кластеры с более новой версией HDInsight по мере появления новых версий. Теперь, если предположить, что внешний Metastore остается неизменным в течение всего этого (он не будет создан заново), может ли это создать проблему для будущей версии HDInsight? Или каждый раз, когда мы начинаем использовать новую версию HDInsight, мы должны также перенести внешний Metastore на более новую версию? Как это соотношение между Hive Metastore и кластером HDInsight?

Под «версией» Hive Metastore, я имею в виду - был момент, когда определенного внешнего Hive Metastore не существовало, и тогда был бы создан первый кластер HDInsight (Hadoop) и пустой SQL Server. экземпляр базы данных был бы указан при создании кластера. В рамках создания кластера база данных, в которой находится Hive Metastore, была бы заполнена метаданными Hive. Вот что я имею в виду под «версией» Metastore - возможно, он получает ту же версию, что и компонент Hive, связанный с созданием конкретной версии кластера HDInsight.

1 Ответ

1 голос
/ 30 октября 2019

Примечание: При создании новой более высокой версии Azure HDInsight для существующей настраиваемой базы данных метастазов система обновляет схему метастазов, которая необратима без восстановления базы данных из резервной копии.

Если вы используете общее хранилище метастазов в нескольких кластерах, убедитесь, что все кластеры имеют одинаковую версию HDInsight. Разные версии Hive используют разные схемы базы данных метастазов. Например, вы не можете использовать общее хранилище метастазов в кластерах с версиями Hive 2.1 и Hive 3.1.

Подробнее см. В разделе " Рекомендации по использованию метастазов Hive ".

Hopeэто помогает.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...