Записать данные из pyspark в лазурный блоб?

Question

Я хочу записать фрейм данных из pyspark в лазурный блоб?Любые предложения или код, как это сделать?

У меня есть местоположение и ключ BLOB-объекта

введите описание изображения здесь

Answer 1

Вы можете следовать этому учебнику , чтобы связать свой искровой фрейм данных с хранилищем BLOB-объектов Azure.

Установить информацию о соединении:

session.conf.set(
    "fs.azure.account.key.<storage-account-name>.blob.core.windows.net",
    "<your-storage-account-access-key>"
)

Затем запишите данные в хранилище BLOB-объектов:

sdf = session.write.parquet(
    "wasbs://<container-name>@<storage-account-name>.blob.core.windows.net/<prefix>"
)

Также вы можете сослаться на этот случай: запись pyspark в контейнер для хранения больших двоичных объектов