Я создал кластер в блоках данных Azure. В его DBFS (файловая система Databricks) я смонтировал хранилище BLOB-объектов Azure (контейнер). В записной книжке я читаю и преобразую данные (используя PySpark), и после всего этого процесса я хочу записать преобразованный набор данных в хранилище BLOB-объектов Azure. Когда я делаю это, я делаю это с помощью следующей командной строки
model_data.write.mode("overwrite").format("com.databricks.spark.csv").options(header = "True", delimiter = ",").csv("/mnt/flights/model_data.csv")
Также пробовал
model_data.coalesce(1).write.mode("overwrite").format("com.databricks.spark.csv").options(header = "True", delimiter = ",").save("/mnt/flights/model_data.csv")
но я не смог получить желаемый результат, который заключался в записи dataframe model_data как model_data.csv в контейнер, который я смонтировал ранее.
Результат всегда
Это изображение выглядит как контейнер в хранилище BLOB-объектов Azure.
Создан файл с псевдослучайным именем, например, «part-xxxxxxxxxx.csv».
Спасибо!