HDInsight Kafka Cluster не может получить доступ к основной учетной записи BLOB-хранилища

Question

Я развернул кластер Kafka с хранилищем BLOB-объектов (общего назначения v1) в качестве основного хранилища. Нет другого хранилища прилагается. Однако узлы кафки не могут получить доступ к BLOB-файлам в одном хранилище. Кластеры Spark / R могут обращаться к файлам в одном и том же BLOB-объекте. Я создал еще один кластер kafka, но проблема все еще существует. Я предоставил разные имена контейнеров для каждого кластера.

Команда: hdfs dfs -ls wasb://elckafka2@demostoragepoc.blob.core.windows.net/

Ошибка:

ls: org.apache.hadoop.fs.azure.AzureException: учетные данные не найдены для учетной записи demostoragepoc.blob.core.windows.net в конфигурации, и его контейнер elckafka2 не доступен с помощью анонимного полномочия. Пожалуйста, проверьте, существует ли контейнер первым. Если это не так в открытом доступе, вы должны предоставить учетные данные.

Спасибо!

Answer 1

Примечание: Частные контейнеры в учетных записях хранения, которые НЕ подключены к кластер : вы не можете получить доступ к BLOB-объектам в контейнерах, если не определить учетную запись хранения при отправке заданий WebHCat.

Для вашего понимания я создал три контейнера следующим образом:

Если вы обращаетесь к контейнерам с помощью HDInsight, вы получите то же сообщение об ошибке для частного и blob уровня общего доступа и даст желаемый вывод для Контейнера открытого уровень доступа.

Для получения дополнительной информации см. « Архитектура HDInsight Storage » и « Поддержка Hadoop Azure: хранилище BLOB-объектов Azure ».