Как создать таблицу Hive с хранилищем Azure WASB с использованием учетной записи и ключа учетной записи? - PullRequest
Новая
       5

Как создать таблицу Hive с хранилищем Azure WASB с использованием учетной записи и ключа учетной записи?

0 голосов
/ 19 сентября 2019

Раньше я использовал AWS и читал данные с помощью presto, теперь перешел в Azure и хочу создать таблицы кустов с использованием хранилища больших двоичных объектов для разных учетных записей, но я не могу его создать.Я создавал таблицы кустов для aws в следующем формате. 

CREATE TABLE hive.web.request_logs (
  request_time timestamp,
  url varchar,
  ip varchar,
  user_agent varchar
)
WITH (
  format = 'ORC',
  external_location = 's3a://key:secret-key@my-bucket/data/logs/'
)

Я пытаюсь описать код ниже для Azure: 

CREATE TABLE hive.web.request_logs (
  request_time timestamp,
  url varchar,
  ip varchar,
  user_agent varchar
)
WITH (
  format = 'ORC',
  external_location = 'wasb://account:account-key.blob.core.windows.net@my-bucket/data/logs/'
)

Я ожидаю создать таблицу кустов для хранилища BLOB-объектов Azure для различныхaccount и account-key.

1 Ответ

0 голосов
/ 23 сентября 2019

Приведенный выше запрос работает, когда вы используете «хранилище BLOB-объектов Azure» в качестве учетной записи основного хранилища , подключенной к кластеру HDInsight.

Вы можете изменить конфигурацию через Ambari, чтобы создатьвнешняя таблица в кусте, которая сопоставлена ​​с хранилищем BLOB-объектов Azure следующим образом:

HDFS >> Custom core-site 

fs.azure.account.key.(storage_account).blob.core.windows.net=(Access Key)

fs.azure.account.keyprovider.(storage_account).blob.core.windows.net=org.apache.hadoop.fs.azure.SimpleKeyProvider

Hive >> Пользовательский куст-env 

AZURE_STORAGE_ACCOUNT=(Storage Account name)

AZURE_STORAGE_KEY=(Access Key)

Для получения более подробной информации вы можете обратиться по ссылкам ниже, относящимся к аналогичной проблеме:

https://hadoop.apache.org/docs/current/hadoop-azure/index.html

улей Внешнийтаблица сопоставляется с проблемой авторизации хранилища Azure

https://docs.microsoft.com/en-us/azure/hdinsight/hadoop/hdinsight-use-hive

Надеюсь, это поможет.

...