Контейнерне найден для аккаунта.blob.core.windows.net

Question

Я создаю таблицу в hive, используя следующую команду:

CREATE EXTERNAL TABLE  azure_test_table
(
col1                      string,
col2                      string
)
STORED AS ORC
LOCATION 'wasbs://container_name@storage_account_name.blob.core.windows.net/directory/'
tblproperties ("orc.comlress"="ZLIB");

Когда я запускаю SELECT * FROM azure_test_table limit 1; Я получаю ошибку.

Сбой за исключениемjava.io.IOException: org.apache.hadoop.fs.azure.AzureException: org.apache.hadoop.fs.azure.AzureException: контейнер myntra в учетной записи analyticsfe.blob.core.windows.net не найден, и мы можем 't создать его с использованием анонимных учетных данных.

Я добавил свойства учетной записи хранения в hive-site.xml, как показано ниже:

<property>
  <name>fs.azure.account.key.storage_account_name.blob.core.windows.net</name>
  <value>access_key_for_the_account</value>
</property>

Чего мне не хватает ??Не могли бы вы помочь.

Answer 1

Необходимо изменить конфигурацию через Ambari, чтобы создать внешнюю таблицу в кусте, которая сопоставлена ​​с хранилищем BLOB-объектов Azure следующим образом:

Учетные записи хранилища в существующие кластеры можно добавить через Ambari, выполнив следующие шаги

Шаг 1: Перейти на панель мониторинга Ambari https://clustername.azurehdinsight.net/

Шаг 2: Перейти к HDFS -> Конфигурация -> Дополнительно, прокрутить вниз доCustom core-site

Шаг 3 : выберите Добавить свойство и введите имя и ключ своей учетной записи хранения следующим образом

HDFS >> Пользовательский базовый сайт

Key => fs.azure.account.key. (Storage_account) .blob.core.windows.net

Значение => (Ключ доступа к хранилищу)

Шаг 4: Перейдите к HIVE => Config => Advanced, прокрутитевплоть до Custom hive-env

Шаг 5 : выберите Добавить свойство и введите имя своей учетной записи хранения и введите следующиеманера

Hive = >> Пользовательский hive-env

Key => AZURE_STORAGE_ACCOUNT

Значение => (Имя учетной записи хранения)

Ключ => AZURE_STORAGE_KEY

Значение => (Ключ доступа к хранилищу)

Шаг6 : перезапустите службы из Ambari

Надеюсь, это поможет.