azure datalake gen2 databricks ACLs разрешения - PullRequest
Новая
       14

azure datalake gen2 databricks ACLs разрешения

0 голосов
/ 26 апреля 2020

Я пытаюсь понять, почему мои разрешения ACL не работают должным образом в Databricks.

Сценарий: у меня 2 пользователя. один с полными разрешениями на FileSystem и. другие без каких-либо разрешений.

Я пытался монтировать файловую систему Gen2 в блоках данных, используя два разных метода. 

  1. configs = {"fs.azure.account.auth.type": "OAuth",
           "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
           "fs.azure.account.oauth2.client.id": clientid,
           "fs.azure.account.oauth2.client.secret": credential,
           "fs.azure.account.oauth2.client.endpoint": refresh_url}


dbutils.fs.mount(
  source = "abfss://xyz@abc.dfs.core.windows.net/",
  mount_point = "/mnt/xyz",
  extra_configs = configs)

и использование сквозного соединения 2. 

configs = { 
"fs.azure.account.auth.type": "CustomAccessToken",
"fs.azure.account.custom.token.provider.class": spark.conf.get("spark.databricks.passthrough.adls.gen2.tokenProviderClassName")
}

dbutils.fs.mount(
  source = "abfss://xyz@abc.dfs.core.windows.net/",
  mount_point = "/mnt/xyz",
  extra_configs = configs)

оба монтируют файловую систему. Но когда я использую:

dbfs.fs.ls("/mnt/xyz")

Он отображает все файлы содержимого / папки для пользователя, у которого нет разрешений на передачу данных.

Был бы рад, если бы кто-нибудь объяснил мне, что не так.

Спасибо

1 Ответ

0 голосов
/ 27 апреля 2020

Это ожидаемое поведение при включении Azure Пропуск учетных данных хранилища озера данных.

Примечание: Когда кластер включен для Azure Пропуск учетных данных хранилища озера данных, команды, запущенные на этом кластере, могут читать и записывать данные в Azure Хранилище озера данных, не требуя от пользователей настроить учетные данные участника службы для доступа к хранилищу. Учетные данные устанавливаются автоматически, в зависимости от пользователя, инициирующего действие.

Ссылка: Включить Azure Пропуск учетных данных хранилища озера данных для вашего рабочего пространства и Упростите доступ к озеру данных с помощью Azure AD Credential Passthrough .

...