Изменение пути по умолчанию для управляемых таблиц Hive при создании кластера в HDInsight 4.0 - PullRequest
Новая
       61

Изменение пути по умолчанию для управляемых таблиц Hive при создании кластера в HDInsight 4.0

1 голос
/ 08 ноября 2019

У меня есть кластер HDInsight (Hadoop) 4.0. Путь по умолчанию для управляемых таблиц Hive - hive / warehouse / managed, и он находится в учетной записи хранения по умолчанию для кластера. Мне бы хотелось, чтобы управляемый путь по умолчанию для кустов указывал на дополнительную учетную запись хранения, которую я подключил к тому же кластеру. Причина этого заключается в том, что много раз я могу удалять и воссоздавать кластер, и каждый раз, когда мне приходится удалять контейнер по умолчанию для учетной записи хранения по умолчанию, в противном случае создание кластера не удастся - или каждый раз указывать новый контейнер. Это создает сложную ситуацию, когда управляемые таблицы, созданные во время более ранних экземпляров кластера, продолжают указывать на старые контейнеры по умолчанию. Я знаю, что этого можно избежать, если мы явно укажем LOCATION во время создания управляемой таблицы, но я просто не хочу, чтобы что-либо находилось в контейнере по умолчанию, даже если LOCATION опущено. Я пытаюсь изолировать данные от кластераметаданные, для которых предназначен контейнер по умолчанию. И я хотел бы, чтобы это было сделано во время создания кластера (не после создания кластера через Ambari). Как нам этого добиться? Я не видел такой возможности в пользовательском интерфейсе создания кластера Azure.

1 Ответ

1 голос
/ 11 ноября 2019

К сожалению, вы не можете изменить путь по умолчанию для управляемых таблиц, создав кластер HDInsight с помощью портала Azure.

Перед созданием кластера HDInsight: Если вы хотите изменить его перед созданием кластера, вы можете использовать «Сценарии начальной загрузки».

Сценарии начальной загрузки позволяют программно устанавливать и настраивать компоненты в Azure HDInsight.

Существует три подхода для настройки параметров файла конфигурации при создании кластера HDInsight. :

  • Использование Azure PowerShell
  • Использование .NET SDK
  • Использование шаблона диспетчера ресурсов Azure

Для получения дополнительной информации см. " Настройка кластеров HDInsight с использованием сценариев Bootstrap".

После создания кластера HDInsight:

Вы можете добавить дополнительные кластеры в пользовательское хранилище метастазов для портала Azure в видеа также из конфигураций Ambari (Hive -> Advanced).

enter image description here

ИЛИ

Tместоположением по умолчанию для управляемых таблиц Hive является склад hive. Расположение хранилища кустов задается свойством hive.metastore.warehouse в файле hive-site.xml : 

<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/hive/warehouse</value>
  <description>location of default database for the warehouse</description>
</property>

Надеюсь, это поможет.

...