загрузка данных в озеро дельты из хранилища лазурной капли

Question

Я пытаюсь загрузить данные в озеро дельты из хранилища Azure BLOB.Я использую приведенный ниже фрагмент кода

storage_account_name = "xxxxxxxxdev" storage_account_access_key = "xxxxxxxxxxxxxxxxxxxxx"

file_location = "wasbs: //bicc-hdspk-eus-qc@xxxxxxxxb.bindows.lox..net / FSHC / DIM / FSHC_DIM_SBU "

file_type =" csv "

spark.conf.set (" fs.azure.account.key. "+ storage_account_name +". blob.core.windows.net ", storage_account_access_key)

df = spark.read.format (file_type) .option (" header "," true "). option (" inferSchema "," true "). option (" delimiter "", '|'). load (file_location)

dx = df.write.format (" parquet ")

До этого этапа он работает, и я также могу загрузить его втаблица данных.

dx.write.format ("delta"). save (file_location)

ошибка: AttributeError: у объекта 'DataFrameWriter' нет атрибута 'write'

PS - Я передаю местоположение файла неправильно в операторе записи?Если это причина, то каков путь к файлу для delta lake.

Пожалуйста, вернитесь ко мне, если потребуется дополнительная информация.

Спасибо, Abhirup

Answer 1

dx - это dataframewriter, так что то, что вы пытаетесь сделать, не имеет смысла.Вы можете сделать это:

df = spark.read.format(file_type).option("header","true").option("inferSchema", "true").option("delimiter", '|').load(file_location)

df.write.format("parquet").save()
df.write.format("delta").save()