Невозможно смонтировать Azure Data Lake Storage Gen 2 с Azure Databricks - PullRequest
Новая
       39

Невозможно смонтировать Azure Data Lake Storage Gen 2 с Azure Databricks

0 голосов
/ 02 апреля 2020

Я пытаюсь смонтировать Azure учетную запись Data Lake Storage Gen2 с использованием субъекта службы и OAuth 2.0, как объяснено здесь : 

configs = {
  "fs.azure.account.auth.type": "OAuth",
  "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
  "fs.azure.account.oauth2.client.id": "<application-id>",
  "fs.azure.account.oauth2.client.secret": dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential>"),
  "fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/<directory-id>/oauth2/token"}

dbutils.fs.mount(
  source = "abfss://<file-system-name>@<storage-account-name>.dfs.core.windows.net/",
  mount_point = "/mnt/<mount-name>",
  extra_configs = configs
)

Используемый субъект службы имеет Storage Blob Data Contributor роль на уровне учетной записи хранения, а также rwx доступ на уровне контейнера.

В любом случае я получаю эту ошибку: 

ExecutionError: An error occurred while calling o242.mount.
: HEAD https://<storage-account-name>.dfs.core.windows.net/<file-system-name>?resource=filesystem&timeout=90
StatusCode=403
StatusDescription=This request is not authorized to perform this operation.

Я даже пытался получить к ней доступ напрямую используя ключ доступа к учетной записи хранения, как описано здесь , но безуспешно: 

spark.conf.set(
  "fs.azure.account.key.<storage-account-name>.dfs.core.windows.net",
  dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential>")
)
dbutils.fs.ls("abfss://<file-system-name>@<storage-account-name>.dfs.core.windows.net/<directory-name>")

Дело в том, что с Azure CLI у меня нет проблем при взаимодействии с этой учетной записью хранения: 

az login --service-principal --username <application-id> --tenant <directory-id>
az storage container list --account-name <storage-account-name> --auth-mode login

Кроме того, нет проблем с использованием REST API на моей машине, но я получаю AuthorizationFailure один раз в кластере: 

from getpass import getpass

import requests

from msal import ConfidentialClientApplication

client_id = "<application-id>"
client_password = getpass()

authority = "https://login.microsoftonline.com/<directory-id>"
scope = ["https://storage.azure.com/.default"]

app = ConfidentialClientApplication(
    client_id, authority=authority, client_credential=client_password
)

tokens = app.acquire_token_for_client(scopes=scope)
headers = {
    "Authorization": "Bearer " + tokens["access_token"],
    "x-ms-version": "2019-07-07" # THIS IS REQUIRED OTHERWISE I GET A 400 RESPONSE
}


endpoint = (
    "https://<account-name>.dfs.core.windows.net/<filesystem>//?action=getAccessControl"
)
response = requests.head(endpoint, headers=headers)

print(response.headers)

Брандмауэр установлен на разрешить доступ к учетной записи хранения только доверенным службам Microsoft.

Я вошел в черную дыру или у кого-то есть такая же проблема с Databricks? Это вызвано драйвером ABFS?

1 Ответ

0 голосов
/ 05 апреля 2020

Действительно, проблема была в настройках брандмауэра. Спасибо, Axel R!

Я был введен в заблуждение тем, что у меня также есть ADLS Gen 1 с теми же настройками брандмауэра и у меня не было проблем.

НО, дьявол кроется в деталях. Исключения брандмауэра Gen 1 позволяют всем Azure службам получать доступ к ресурсу. В то же время Gen 2 разрешает только доверенные Azure услуги.

Надеюсь, это кому-нибудь поможет.

...