Как установить blob conf в сеансе окружения pyspark

Question

У меня есть сценарий pyspark, в котором я инициирую сеанс spark, но я не могу читать из хранилища BLOB-объектов, используя spark.read.format('json').load("my_blob_path"). Ниже моя инициализация сессии. Помогите, пожалуйста, установить мои учетные данные BLOB в среде.

conf = SparkConf().setAppName("session1")
sc = SparkContext(conf=conf)
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("session1").getOrCreate()

Answer 1

Вы можете установить учетные данные своей учетной записи хранения azure -blob, используя spark.conf.set после инициализации сеанса искры.

Ниже приведен код:

conf = SparkConf().setAppName("session1")
sc = SparkContext(conf=conf)
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("session1").getOrCreate()

spark.conf.set("fs.azure.account.key.{blob_account_name}.blob.core.windows.net","{blob_account_key}")

Это установит учетную запись на вашем пути, а затем вы можете читать из BLOB-объекта, используя spark.read.format('json').load('wasb://{blob_container}@{blob_account_name}.blob.core.windows.net/{blob_path}')