Как читать BLOB-объекты в Azure блоках данных с помощью SAS - PullRequest
0 голосов
/ 27 марта 2020

Я новичок в Databricks. Я пишу пример кода для чтения хранилища BLOB-объектов в Azure Databricks.

blob_account_name = "sars"
blob_container_name = "mpi"
blob_sas_token =r"**"
ini_path = "58154388-b043-4080-a0ef-aa5fdefe22c8"

inputini = 'wasbs://%s@%s.blob.core.windows.net/%s' % (blob_container_name, blob_account_name, ini_path)
spark.conf.set("fs.azure.sas.%s.%s.blob.core.windows.net"% (blob_container_name, blob_account_name), blob_sas_token)

print(inputini)
ini=sc.textFile(inputini).collect()

Он выдает ошибку:

Container mpi in account sars.blob.core.windows.net not found

Я полагаю, он не присоединяет маркер SAS в ссылке WASBS, так что у него нет разрешения на чтение данных.

Как прикрепить ссылку SAS в wasbs.

1 Ответ

0 голосов
/ 27 марта 2020

Это исключительное поведение, вы не можете получить доступ к частному хранилищу для чтения из Databricks. Чтобы получить доступ к личным данным из хранилища, где включен брандмауэр или когда оно создано в vnet, вам необходимо будет развернуть Azure Базы данных в вашей виртуальной сети Azure, а затем внести в белый список диапазон адресов Vnet в брандмауэре учетная запись хранения. Можно обратиться к настройке Azure Брандмауэры хранилища и виртуальные сети.

С ЧАСТНЫМ ДОСТУПОМ:

Когда вы указали уровень доступа " Частный (нет анонимный доступ)".

enter image description here

Вывод: сообщение об ошибке

затенено. databricks.org. apache .had oop .fs. azure .AzureException: shaded.databricks.org. apache .had oop .fs. azure .AzureException: Контейнер carona в учетной записи cheprasas. blob.core. windows. net не найден, и мы не можем создать его с использованием анонимных учетных данных и учетных данных для них не найдено в конфигурации.

enter image description here

С ДОСТУПОМ К КОНТЕЙНЕРУ:

Когда вы указали уровень доступа к « Контейнеру (анонимный доступ для чтения для контейнеров и BLOB-объектов) » .

enter image description here

Вывод: Вы сможете увидеть вывод без каких-либо проблем.

enter image description here

Re ference: Быстрый запуск: запуск задания Spark на Azure кирпичах данных с использованием портала Azure .

...