сохранить модель искры ML в лазурных каплях

Question

Я попытался сохранить свою модель машинного обучения в pyspark для лазурного блоба.Но это приводит к ошибке.

lr.save('wasbs:///user/remoteuser/models/')

Illegal Argument Exception: Cannot initialize WASB file system, URI authority not recognized.'

Также пробовал,

m = lr.save('wasbs://'+container_name+'@'+storage_account_name+'.blob.core.windows.net/models/')

Но не удается идентифицировать пользователя в трассировке стека.PS: я не использую Azure HDInsight.Я просто использую Databricks и хранилище BLOB-объектов Azure

Answer 1

Чтобы получить доступ к хранилищу BLOB-объектов Azure напрямую из блоков данных Azure (не смонтирован), необходимо задать ключ доступа к учетной записи:

spark.conf.set(
  "fs.azure.account.key.<your-storage-account-name>.blob.core.windows.net",
  "<your-storage-account-access-key>")

или SAS для контейнера.Тогда вы сможете получить доступ к хранилищу BLOB-объектов:

val df = spark.read.parquet("wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net/<your-directory-name>")